Право на изображение предоставлено: ALBANESE, Federico, et al. «Прогнозирование смены людей с помощью интеллектуального анализа текста и графического машинного обучения в Twitter». (24 августа 2020 г.): arXiv: 2008.10749.[cs.SI]

Так как же разработчики могут использовать науку о графовых данных? Давайте обратимся к наиболее используемому языку программирования для науки о данных: Python.

Приступая к работе с «теорией графов» Графики в Python

Разработчикам Python доступно несколько библиотек данных графов, таких как NetworkX, igraph, SNAP и graph-tool. Помимо плюсов и минусов, у них очень похожие интерфейсы для визуализации графов Python и управления структурой.

Мы будем использовать популярную библиотеку NetworkX. Он прост в установке и использовании и поддерживает алгоритм обнаружения сообщества, который мы будем использовать.

Создать новый граф NetworkX очень просто:

 импортировать networkx как nx
G = nx. График()
 

Но G еще не совсем граф, поскольку он лишен узлов и ребер.

Как добавить узлы в график

Мы можем добавить узел в сеть, объединив возвращаемое значение Graph() с .add_node() (или .add_nodes_from() для нескольких узлов в список). Мы также можем добавлять к узлам произвольные характеристики или атрибуты, передавая словарь в качестве параметра, как показано на примере 9.0027 узел 4 и узел 5 :

 G.add_node("узел 1")
G.add_nodes_from(["узел 2", "узел 3"])
G.add_nodes_from([("узел 4", {"abc": 123}), ("узел 5", {"abc": 0})])
печать (G.узлы)
print(G.nodes["node 4"]["abc"]) # доступ как к словарю
 

Это выведет:

 ['узел 1', 'узел 2', 'узел 3', 'узел 4', 'узел 5']
123
 

Но без ребер между узлами они изолированы, и набор данных ничем не лучше простой таблицы.

Как добавить ребра к графику

Подобно технике для узлов, мы можем использовать . add_edge() с именами двух узлов в качестве параметров (или .add_edges_from() для нескольких ребер в списке) и дополнительно включить словарь атрибутов:

 G.add_edge("узел 1", "узел 2")
G.add_edge ("узел 1", "узел 6")
G.add_edges_from([("узел 1", "узел 3"),
                  ("узел 3", "узел 4")])
G.add_edges_from([("узел 1", "узел 5", {"вес" : 3}),
                  ("узел 2", "узел 4", {"вес" : 5})])
 

Библиотека NetworkX поддерживает подобные графы, где каждое ребро может иметь вес. Например, в графе социальной сети, где узлы — это пользователи, а ребра — взаимодействия, вес может означать, сколько взаимодействий происходит между данной парой пользователей — очень важный показатель.

NetworkX перечисляет все ребра при использовании G.edges , но не включает их атрибуты. Если нам нужны атрибуты ребра, мы можем использовать G[node_name] , чтобы получить все, что подключено к узлу или G[node_name][connected_node_name] для получения атрибутов определенного ребра:

 print(G. nodes)
печать (G.edges)
печать (G ["узел 1"])
print(G["узел 1"]["узел 5"])
 

Это выведет:

 ['узел 1', 'узел 2', 'узел 3', 'узел 4', 'узел 5', 'узел 6']
[('узел 1', 'узел 2'), ('узел 1', 'узел 6'), ('узел 1', 'узел 3'), ('узел 1', 'узел 5'), ( 'узел 2', 'узел 4'), ('узел 3', 'узел 4')]
{'узел 2': {}, 'узел 6': {}, 'узел 3': {}, 'узел 5': {'вес': 3}}
{'вес': 3}
 

Но читать наш первый график таким образом нецелесообразно. К счастью, есть гораздо лучшее представление.

Как генерировать изображения из графиков (и взвешенных графиков)

Визуализация графика очень важна: она позволяет нам быстро и четко увидеть отношения между узлами и структуру сети.

Быстрый вызов nx.draw(G) — это все, что нужно:

Давайте сделаем более тяжелые ребра соответственно толще с помощью нашего вызова nx.draw() :

 weights = [1 if G[u][v] == {} else G[u][v]['weight'] для u,v в G.edges()]
nx.draw(G, ширина=вес)
 

Мы указали толщину по умолчанию для невесомых ребер, как видно из результата:

Наши методы и алгоритмы графов станут более сложными, поэтому для нашего следующего примера NetworkX/Python мы будем использовать более известный набор данных.

Наука о графических данных с использованием данных из фильма

Чтобы упростить интерпретацию и понимание наших результатов, мы будем использовать этот набор данных. Узлы представляют важные персонажи, а ребра (которые здесь не взвешиваются) означают совместное появление в сцене.

Примечание. Набор данных предоставлен Габасовой Э. (2016). Звездные войны социальная сеть. DOI: https://doi.org/10.5281/zenodo.1411479.

Сначала мы визуализируем данные с помощью nx.draw(G_starWars, with_labels = True) :

Персонажи, которые обычно появляются вместе, такие как R2-D2 и C-3PO, кажутся тесно связанными. Напротив, мы видим, что Дарт Вейдер не делится сценами с Оуэном.

Макеты визуализации Python NetworkX

Почему каждый узел расположен там, где он находится на предыдущем графике?

Это результат стандартного алгоритма spring_layout . Он имитирует силу пружины, притягивающей соединенные узлы и отталкивающей разъединенные. Это помогает выделить хорошо связанные узлы, которые оказываются в центре.

NetworkX имеет другие макеты, которые используют другие критерии для размещения узлов, например round_layout :

 pos = nx.circular_layout(G_starWars)
nx.draw(G_starWars, pos=pos, with_labels = True)
 

Результат:

Этот макет нейтрален в том смысле, что расположение узла не зависит от его важности — все узлы представлены одинаково. (Круговая компоновка может также помочь визуализировать отдельные связанных компонентов — подграфов, имеющих путь между любыми двумя узлами, — но здесь весь граф представляет собой один большой компонент связности.)

Оба макета, которые мы видели, имеют степень визуальный беспорядок, потому что края могут свободно пересекать другие края. Но Камада-Каваи, другой силовой алгоритм, такой как spring_layout размещает узлы так, чтобы минимизировать энергию системы.

Это уменьшает пересечение ребер, но имеет свою цену: он медленнее, чем другие макеты, и поэтому не рекомендуется для графов с большим количеством узлов.

У этого есть специальная функция рисования:

 nx.draw_kamada_kawai(G_starWars, with_labels = True)
 

Вместо этого получается следующая форма:

Без какого-либо специального вмешательства алгоритм поместил главных персонажей (таких как Люк, Лея и C-3PO) в центр, а менее заметных (таких как Кейми и генерал Додонна) — на границу.

Визуализация графика с определенной компоновкой может дать нам интересные качественные результаты. Тем не менее, количественные результаты являются жизненно важной частью любого анализа данных, поэтому нам необходимо определить некоторые показатели.

Анализ узлов: степень и PageRank

Теперь, когда мы можем ясно визуализировать нашу сеть, нам может быть интересно охарактеризовать узлы. Существует несколько метрик, описывающих характеристики узлов и, в нашем примере, персонажей.

Одной из основных метрик для узла является его степень : сколько у него ребер. Степень узла персонажа «Звездных войн » измеряет, со сколькими другими персонажами они делили сцену.

Функция Degree() может вычислить степень персонажа или всей сети:

 print(G_starWars.grade["LUKE"])
печать (G_starWars.степень)
 

Вывод обеих команд:

 15
[('R2-D2', 9), ('ЧУБАККА', 6), ('C-3PO', 10), ('ЛЮК', 15), ('ДАРТ ВЕЙДЕР', 4), ('КЭМИ' , 2), ('БИГГС', 8), ('ЛЕЯ', 12), ('БЕРУ', 5), ('ОВЕН', 4), ('ОБИ-ВАН', 7), ('МОТТИ' , 3), ('ТАРКИН', 3), ('ХАНЬ', 6), ('ДОДОННА', 3), ('ЗОЛОТО ЛИДЕР', 5), ('КЛИН', 5), ('КРАСНЫЙ ЛИДЕР' , 7), («КРАСНАЯ ДЕСЯТКА», 2)]
 

Сортировка узлов от высшего к низшему в зависимости от степени может быть выполнена с помощью одной строки кода:

 print(sorted(G_starWars.degree, key=lambda x: x[1], reverse=True))
 

Вывод:

 [('LUKE', 15), ('LEIA', 12), ('C-3PO', 10), ('R2-D2', 9), ('BIGGS', 8 ), ('ОБИ-ВАН', 7), ('КРАСНЫЙ ЛИДЕР', 7), ('ЧУБАККА', 6), ('ХАН', 6), ('БЕРУ', 5), ('ЗОЛОТОЙ ЛИДЕР' , 5), ('КЛИН', 5), ('ДАРТ ВЕЙДЕР', 4), ('ОВЕН', 4), ('МОТТИ', 3), ('ТАРКИН', 3), ('ДОДОННА', 3), ('CAMIE', 2), ('RED ​​TEN', 2)]
 

Будучи общей суммой, степень не учитывает детали отдельных ребер. Соединяется ли данное ребро с изолированным узлом или с узлом, связанным со всей сетью? Алгоритм Google PageRank объединяет эту информацию, чтобы оценить, насколько «важным» является узел в сети.

Метрику PageRank можно интерпретировать как агент, перемещающийся случайным образом с одного узла на другой. Узлы с лучшими связями имеют больше путей, ведущих через них, поэтому агент будет чаще посещать их.

Такие узлы будут иметь более высокий PageRank, который мы можем рассчитать с помощью библиотеки NetworkX:

 pageranks = nx.pagerank(G_starWars) # Словарь
print(pageranks["LUKE"])
печать (отсортировано (страницы, ключ = лямбда x: x [1], реверс = True))
 

Это выводит ранг Люка и наших персонажей, отсортированных по рангу:

 0,12100659993223405
['ОВЕН', 'ЛЮК', 'МОТТИ', 'ДОДОННА', 'ЗОЛОТОЙ ЛИДЕР', 'БИГГС', 'ЧУБАККА', 'ЛЕЯ', 'БЕРУ', 'КЛИН', 'КРАСНЫЙ ЛИДЕР', 'КРАСНАЯ ДЕСЯТЬ' ', 'ОБИ-ВАН', 'ДАРТ ВЕЙДЕР', 'КЭМИ', 'ТАРКИН', 'ХАН', 'R2-D2', 'C-3PO']
 

Оуэн — персонаж с самым высоким PageRank, превосходящим Люка, имевшего самую высокую степень. Анализ: хотя Оуэн не является персонажем, который разделяет большинство сцен с другими персонажами, он является персонажем, который разделяет сцены со многими важными персонажами, такими как сам Люк, R2-D2 и C-3PO.

В отличие от этого, C-3PO, символ с третьей по величине степенью, имеет самый низкий PageRank. Несмотря на то, что у C-3PO много связей, многие из них связаны с неважными персонажами.

Вывод: использование нескольких метрик может дать более глубокое представление о различных характеристиках узлов графа.

При выполнении анализа графа Python в сети может быть важно разделить сообществ : группы узлов, которые тесно связаны друг с другом, но минимально связаны с узлами за пределами своего сообщества.

Для этого существует несколько алгоритмов. Большинство из них встречаются в неконтролируемых алгоритмах машинного обучения, потому что они присваивают метку узлам без необходимости их предварительной маркировки.

Одним из самых известных является распространение метки . В нем каждый узел начинается с уникальной метки в сообществе из одного. Метки узлов итеративно обновляются в соответствии с большинством меток соседних узлов.

Метки распространяются по сети до тех пор, пока все узлы не разделят метку с большинством своих соседей. Группы узлов, тесно связанных друг с другом, в конечном итоге имеют одинаковую метку.

С библиотекой NetworkX запуск этого алгоритма занимает всего три строки Python:

 из networkx.algorithms.community.label_propagation import label_propagation_communities
сообщества = label_propagation_communities(G_starWars)
print([сообщество для сообщества в сообществах])
 

Вывод:

 [{'R2-D2', 'КЭМИ', 'КРАСНАЯ ТЕН', 'КРАСНЫЙ ЛИДЕР', 'ОБИ-ВАН', 'ДОДОННА', 'ЛЕЯ', 'КЛИН', 'ХАН' , 'ОВЕН', 'ЧУБАККА', 'ЗОЛОТОЙ ЛИДЕР', 'ЛЮК', 'БИГГС', 'C-3PO', 'БЕРУ'}, {'ДАРТ ВЕЙДЕР', 'ТАРКИН', 'МОТТИ'}]
 

В этом списке наборов каждый набор представляет сообщество. Читатели, знакомые с фильмом, заметят, что алгоритму удалось идеально отделить «хороших парней» от «плохих парней», осмысленно различая персонажей без использования каких-либо истинных (общественных) ярлыков или метаданных.

Intelligent Insights с использованием анализа графических данных в Python

Мы убедились, что начать работу с инструментами графического анализа данных проще, чем может показаться. Как только мы представим данные в виде графика с помощью библиотеки NetworkX в Python, несколько коротких строк кода могут пролить свет. Мы можем визуализировать наш набор данных, измерять и сравнивать характеристики узлов и узлов кластера разумно с помощью алгоритмов обнаружения сообщества.

Умение извлекать выводы и идеи из сети с помощью Python позволяет разработчикам интегрироваться с инструментами и методологией, которые обычно используются в конвейерах услуг по обработке и анализу данных. От поисковых систем до планирования полетов и электротехники — эти методы легко применимы к широкому спектру контекстов.

Рекомендуемая литература по науке о графовых данных

Алгоритмы обнаружения сообщества
Чжао Ян, Рене Альгешаймер и Клаудио Тессон. «Сравнительный анализ алгоритмов обнаружения сообщества в искусственных сетях». Научные отчеты, 6, вып. 30750 (2016).

Глубокое обучение графов
Томас Кипф. «Графические сверточные сети». 30 сентября 2016 г.

Applications of Graph Data Science
Albanese, Federico, Leandro Lombardi, Esteban Feuerstein и Pablo Balenzuela. «Прогнозирование смены людей с помощью интеллектуального анализа текста и графического машинного обучения в Twitter». (24 августа 2020 г.): arXiv: 2008.10749.[cs.SI].

Коэн, Элиор. «Встреча PyData в Тель-Авиве: Node2vec». YouTube. 22 ноября 2018 г. Видео, 21:09. https://www.youtube.com/watch?v=828rZgV9t1g.

Понимание основ

• Можно ли использовать Python для визуализации данных?

  Да, можно. В Python есть несколько библиотек для визуализации данных, например, библиотека NetworkX.

• Как графически отображать данные в Python?

  Библиотеки визуализации графических данных Python, такие как NetworkX, igraph, SNAP и graph-tool, имеют встроенную функциональность. Библиотека NetworkX полезна для визуализации узлов и границ сетей.

• Является ли Graph типом данных в Python?

  Библиотека Python NetworkX предоставляет различные типы графов данных. Возможными типами, в зависимости от характеристик графика, являются Graph, DiGraph, MultiGraph и MultiDiGraph.

• Используется ли теория графов в науке о данных?

  Да. Библиотека NetworkX позволяет специалистам по данным Python легко использовать различные алгоритмы на основе теории графов, такие как PageRank и распространение меток.

• Какая польза от NetworkX в Python?

  NetworkX — это библиотека для представления графов в Python. Разработчики могут использовать его для создания, обработки и визуализации графиков, а также для невизуального анализа графических данных.

• Когда следует использовать NetworkX?

  Для анализа графов следует использовать простую в использовании библиотеку NetworkX; например, когда необходимы алгоритмы обнаружения сообществ или другие особенности. Но в остальном его функциональность сравнима с другими библиотеками графов, такими как igraph, SNAP и graph-tool.

• Является ли NetworkX быстрой?

  Для многих приложений NetworkX достаточно быстр, но другие библиотеки Python могут быть быстрее для крупномасштабных наборов графических данных, в зависимости от алгоритма(ов). Преимущество начала работы с NetworkX заключается в простоте использования и обширном сообществе разработчиков.

• Что такое алгоритм обнаружения сообщества?

  Алгоритм обнаружения сообщества ищет кластерные сетевые узлы в соответствии с их связностью. Распространение меток является широко используемым методом для этого и имеет реализацию в библиотеке Python NetworkX.

тезис.dvi

%PDF-1.4 % 1 0 объект > эндообъект 6 0 объект /Заголовок /Предмет /Автор /Режиссер /Ключевые слова /CreationDate (D:20230507040200-00’00’) /ModDate (D:20141020151350+02’00’) >> эндообъект 2 0 объект > эндообъект 3 0 объект > эндообъект 4 0 объект > эндообъект 5 0 объект > транслировать 2014-10-20T15:13:50+02:002014-10-20T15:13:50+02:00dvips(k) 5.