Nano Hash - криптовалюты, майнинг, программирование

Отработка зависимых групп

Используя следующую функцию, я могу сгенерировать некоторые тестовые данные.

import random, string
a = list(string.ascii_lowercase)
def gen_test_data():
    s = []
    for i in xrange(15):
        p = random.randint(1,3)
        xs = [random.choice(a) for i in xrange(p)]
        s.append(xs)
    return s

Это мои тестовые данные.

[
    ['a', 's'],
    ['f', 'c'],
    ['w', 'z'],
    ['z', 'p'],
    ['z', 'u', 'g'],
    ['v', 'q', 'w'],
    ['y', 'w'],
    ['d', 'x', 'i'],
    ['l', 'f', 's'],
    ['z', 'g'],
    ['h', 'x', 'k'],
    ['b'],
    ['t'],
    ['s', 'd', 'c'],
    ['s', 'w', 'd']
]

Если буква разделяет список с другой буквой, она зависит от этой буквы и любой из этих букв от других зависимостей. Например

x зависит от ['a','c','d','g','f','i','h','k','l','q','p','s','u','w','v','y', 'x','z']

Эти зависимости также являются двусторонними. k зависит от всего, включая x

но x не зависит от b или t. Их можно выделить в отдельные группы.

Мне нужно разделить список на МНОЖЕСТВО независимых групп, насколько это возможно.

Каждая группа будет набором всех букв, от которых зависит группа. Независимые буквы будут набором из одной.

Пример вывода для приведенного выше:

[
    ['t'],
    ['b'],
    ['a','c','d','g','f','i','h','k','l','q','p','s','u','w','v','y', 'x','z']
]

Я пытаюсь написать функцию для этого, но не могу понять, как правильно все сгруппировать.


Ответы:


1

Это классическая проблема с связанными компонентами. Существует ряд эффективных алгоритмов с линейным или почти линейным временем для ее решения, например, с помощью алгоритма поиска по графу, такого как поиск в глубину, или с помощью структуры данных с объединением.


Для алгоритма, основанного на поиске, вы должны настроить граф на основе вашего ввода, с узлами во входных подсписках, связанных, а затем запустить поиск графа, чтобы найти, какие узлы достижимы друг от друга. Библиотеки графов, такие как NetworkX, могут выполнить большую часть реализации за вас, или вы можете написать ее самостоятельно. Например,

import collections

def build_graph(data):
    graph = collections.defaultdict(list)
    for sublist in data:
        # It's enough to connect each sublist element to the first element.
        # No need to connect each sublist element to each other sublist element.
        for item in sublist[1:]:
            graph[sublist[0]].append(item)
            graph[item].append(sublist[0])
        if len(sublist) == 1:
            # Make sure we add nodes even if they don't have edges.
            graph.setdefault(sublist[0], [])
    return graph

def dfs_connected_component(graph, node):
    frontier = [node]
    visited = set()
    while frontier:
        frontier_node = frontier.pop()
        if frontier_node in visited:
            continue
        visited.add(frontier_node)
        frontier.extend(graph[frontier_node])
    return visited

def dependent_groups(data):
    graph = build_graph(data)
    components = []
    nodes_with_component_known = set()
    for node in graph:
        if node in nodes_with_component_known:
            continue
        component = dfs_connected_component(graph, node)
        components.append(component)
        nodes_with_component_known.update(component)
    return components

Это будет иметь время выполнения, линейное по размеру ввода.


Вы также можете использовать структуру данных union-find. Структура данных объединения-поиска связывает элементы с наборами, каждый набор представлен репрезентативным элементом. Они поддерживают две операции: find, которая находит представителя элемента, и union, которая берет два элемента и объединяет их наборы в один набор.

Вы можете настроить структуру данных объединения-поиска и для каждого подсписка во входных данных объединить каждый элемент подсписка с первым элементом подсписка. Это позволит эффективно сгруппировать все зависимые элементы без объединения каких-либо независимых элементов вместе.

При стандартной реализации структуры данных объединения-поиска в виде леса непересекающихся множеств с объединением по рангу и сжатию пути среда выполнения будет по существу линейной по размеру входных данных. Это было бы медленнее в множитель обратной функции Аккермана ввода, которая по существу постоянный для всех практических входных размеров.

01.08.2016

2

Это подключенные компоненты графика, и вы можете использовать networkx для их создания:

>>> import networkx as nx
>>> graph = nx.Graph()
>>> for path in data:
...     nx.add_path(graph, path)
...
>>> [list(component) for component in nx.connected_components(graph)]
[
    ['h','q','c','d','a','g','p','f','s','w','i','v','u','x','z','y','k','l'],
    ['b'],
    ['t']
]
01.08.2016

3

Вот один из способов сделать это (используя рекурсивный алгоритм):

lst = [
    ['a', 's'],
    ['f', 'c'],
    ['w', 'z'],
    ['z', 'p'],
    ['z', 'u', 'g'],
    ['v', 'q', 'w'],
    ['y', 'w'],
    ['d', 'x', 'i'],
    ['l', 'f', 's'],
    ['z', 'g'],
    ['h', 'x', 'k'],
    ['b'],
    ['t'],
    ['s', 'd', 'c'],
    ['s', 'w', 'd']
]

def find_deps(letter, lst, already_done=set()):
    if letter in already_done:
        return already_done
    already_done = already_done.union(set([letter]))
    to_do = set()

    ## First scan the list to see what's there to process
    for sublist in lst:
        if letter in sublist:
            newset = set(x for x in sublist if x != letter)
            to_do = to_do.union(newset)

    ## Process first-dependents
    out = to_do.copy()
    for lll in to_do:
        out = out.union(find_deps(lll, lst, already_done=already_done))
    return out.union(set([letter]))

print find_deps('a', lst)
# set(['a', 'c', 'd', 'g', 'f', 'i', 'h', 'k', 'l', 'q', 'p', 's', 'u', 'w', 'v', 'y', 'x', 'z'])

print find_deps('b', lst)
# set(['b'])

print find_deps('t', lst)
# set(['t'])
01.08.2016
Новые материалы

Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..

Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..

Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..

Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..

Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..

Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..

Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..