Строит из глобальной совстречаемости слов, а не только из локальных окон.
Ключевые тезисы
- Объединяет идеи матричной факторизации и предсказательных моделей.
- Обучение хорошо параллелится по ненулевым элементам .
- Качество сопоставимо с , различия зависят от корпуса.
Подробный разбор
- функция, о которой идёт речь
- суммирование по всем перечисленным элементам
- транспонирование: строка вместо столбца
- логарифм: превращает произведения в суммы и сжимает масштаб
GloVe напрямую подгоняет скалярные произведения под логарифмы частот совстречаемости. Весовая функция гасит вклад очень частых пар, чтобы «и», «в» не доминировали.
| GloVe | ||
|---|---|---|
| Данные | локальные окна, потоково | глобальная совстречаемости |
| Обучение | по парам | взвешенный МНК по ненулевым элементам |
| Память | малая | нужна совстречаемости |
| Качество | сопоставимое; различия зависят от корпуса и задачи |
Обе модели статические: у слова один независимо от контекста. Для омонимии и сложных задач сегодня берут контекстные .
Связанные темы
От слов к векторам
Tokenization75%
Токенизация · Обработка естественного языкаРазбиение текста на единицы, с которыми работает модель: слова, подслова или байты.
Bag of Words75%
Мешок слов · Обработка естественного языкаТекст представляется вектором частот слов, порядок полностью игнорируется.
TF-IDF75%
TF-IDF · Обработка естественного языкаВзвешивает частоту слова в документе на его редкость в корпусе, подавляя общеупотребительные слова.
Word2Vec75%
Word2Vec · Обработка естественного языкаОбучает плотные векторы слов по контексту: близкие по смыслу слова оказываются рядом в пространстве.
FastText75%
FastText · Обработка естественного языкаПредставляет слово суммой векторов его символьных n-грамм, что даёт эмбеддинги даже для незнакомых слов.
Embeddings75%
Эмбеддинги · Обработка естественного языкаПлотные векторные представления объектов, где геометрическая близость означает смысловое сходство.
Глава «Обработка естественного языка» последний раз правилась . Нашли ошибку — напишите.