Graph Neural Networks

, работающие прямо на структуре : представление вершины обновляется по представлениям соседей.

Ключевые тезисы

GCN усредняет соседей, GraphSAGE сэмплирует их, GAT взвешивает .
Глубокие страдают от «пересглаживания»: после нескольких слоёв все вершины становятся похожими.
Применения: антифрод, рекомендации, молекулярное моделирование, прогноз трафика.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Модель	Агрегация	Особенность
GCN	нормированное среднее	простая, требует весь
GraphSAGE	среднее / max по сэмплу соседей	индуктивная, работает на новых вершинах
GAT	взвешивание	учит важность каждого соседа
GIN	сумма + MLP	максимальная выразительная сила

H^{(k + 1)} = σ (D ~^{- 1/2} A ~ D ~^{- 1/2} H^{(k)} W^{(k)})

Обозначения

$σ$ стандартное отклонение — разброс величины
$k$ степень вершины — число её связей
$A$ матрица смежности графа: есть ли ребро между вершинами

Слой GCN: нормированная смежности с петлями

Пересглаживание: после 3–4 слоёв представления вершин становятся почти одинаковыми.
Масштаб: полный не помещается в память — нужны сэмплирование соседей и кластерные батчи.
Гетерофилия: если соседи чаще разных классов, базовые работают хуже простых моделей.
Бейзлайн: на графовых часто не хуже и намного дешевле в эксплуатации.

На практике

Разумный порядок действий: сначала графовые в , и только если этого не хватает — с честным сравнением на том же разбиении.

Тема также относится к главам:Глубокое обучениеАрхитектуры

Связанные темы

Машинное обучение на графах

Graph Basics85%

Основы графов · Графы и сети

Вершины, рёбра, веса и направления. Матрица смежности и список рёбер — два способа хранить одно и то же.

Centrality85%

Центральности · Графы и сети

Меры важности вершины: по числу связей, по посредничеству, по близости и по влиянию соседей.

PageRank85%

PageRank · Графы и сети

Стационарное распределение случайного блуждания по графу с телепортацией. Классический алгоритм ранжирования, который до сих пор используется как признак.