GloVe

Строит эмбеддинги из глобальной матрицы совстречаемости слов, а не только из локальных окон.

Ключевые тезисы

Объединяет идеи матричной факторизации и предсказательных моделей.
Обучение хорошо параллелится по ненулевым элементам матрицы.
Качество сопоставимо с Word2Vec, различия зависят от корпуса.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Матрица совстречаемости

Глобальная статистика вместо локальных окон.

J = i, j \sum f (X_{ij}) (v_{i}^{⊤} v ~_{j} + b_{i} + b ~_{j} - lo g X_{ij})^{2}

Обозначения

$f (x)$ функция, о которой идёт речь
$\sum$ суммирование по всем перечисленным элементам
$x^{⊤}$ транспонирование: строка вместо столбца
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

X_{ij}

— сколько раз слово

j

встретилось в контексте слова

i

GloVe напрямую подгоняет скалярные произведения векторов под логарифмы частот совстречаемости. Весовая функция $f$ гасит вклад очень частых пар, чтобы «и», «в» не доминировали.

Сравнение с Word2Vec

Разные пути к похожему результату.

	Word2Vec	GloVe
Данные	локальные окна, потоково	глобальная матрица совстречаемости
Обучение	SGD по парам	взвешенный МНК по ненулевым элементам
Память	малая	нужна матрица совстречаемости
Качество	сопоставимое; различия зависят от корпуса и задачи

На практике

Обе модели статические: у слова один вектор независимо от контекста. Для омонимии и сложных задач сегодня берут контекстные эмбеддинги.

Связанные темы

От слов к векторам

Ключевые тезисы

Подробный разбор

Матрица совстречаемости

Сравнение с Word2Vec

Связанные темы

Tokenization75%

Bag of Words75%

TF-IDF75%

Word2Vec75%

FastText75%

Embeddings75%