Word2Vec

Обучает плотные слов по контексту: близкие по смыслу слова оказываются рядом в пространстве.

Ключевые тезисы

Две схемы: CBOW предсказывает слово по контексту, Skip-gram — наоборот.
Negative sampling делает обучение вычислительно реальным.
Знаменитая арифметика : король − мужчина + женщина ≈ королева.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Гипотеза дистрибутивной семантики: слова, встречающиеся в похожих контекстах, имеют похожий смысл. Skip-gram предсказывает контекст по слову, CBOW — слово по контексту.

max t \sum - c \leq j \leq c, j \neq = 0 \sum lo g p (w_{t + j} ∣ w_{t}), p (w_{o} ∣ w_{i}) = \frac{exp ( v _{w_{o}}^{⊤} v _{w_{i}} )}{\sum _{w} exp ( v _{w}^{⊤} v _{w_{i}} )}

Обозначения

$w$ веса модели — то, что подбирается при обучении
$p$ вероятность (или плотность распределения)
$\sum$ суммирование по всем перечисленным элементам
$x^{⊤}$ транспонирование: строка вместо столбца
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб
$exp$ экспонента

Знаменатель требует суммы по всему словарю — это неподъёмно. Negative sampling заменяет задачу: отличить настоящую пару «слово — контекст» от нескольких случайных.

Пример

Знаменитая арифметика: $v (король) - v (мужчина) + v (женщина) \approx v (королева)$ . Направление в пространстве кодирует отношение.

L = - lo g σ (⟨ v_{c}, v_{w} ⟩) - k = 1 \sum K E_{w_{k} \sim P_{n}} lo g σ (- ⟨ v_{w_{k}}, v_{w} ⟩)

Обозначения

$E [\cdot]$ математическое ожидание — среднее по распределению
$σ (z)$ сигмоида: сжимает число в интервал от 0 до 1
$w$ веса модели — то, что подбирается при обучении
$n$ число объектов в выборке
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$L$ функция потерь — то, что минимизируется при обучении
$\sum$ суммирование по всем перечисленным элементам

Вместо по всему словарю — бинарная классификация против K случайных слов

$K = 5$ – $20$ отрицательных примеров для малых корпусов, 2–5 для больших.
Отрицательные слова берут из распределения $P (w) \propto f (w)^{3/4}$ — компромисс между частыми и редкими.
Subsampling выбрасывает сверхчастые слова с вероятностью, зависящей от частоты: это ускоряет обучение и улучшает редких слов.
Маленькое (2–5) даёт синтаксическую близость, большое (10+) — тематическую.

Связанные темы

От слов к векторам

Кому эта тема нужна

Профильная компетенция для ролей: NLP-инженер, LLM-инженер, Инженер рекомендаций.

Усиливает профиль: Продуктовый инженер, Исследователь.

Добавить в учебную программу

Следующий шагДальше по связи: TokenizationРазбиение текста на единицы, с которыми работает модель: слова, подслова или байты.Перейти →

Глава «Обработка естественного языка» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Подробный разбор

Связанные темы

Tokenization75%

Bag of Words75%

TF-IDF75%

GloVe75%

FastText75%

Embeddings75%

Word2Vec

Ключевые тезисы

Подробный разбор

1Skip-gram и CBOWДве задачи, из которых рождаются векторы слов.

2Детали обученияNegative sampling, subsampling и размер окна.

Связанные темы

Tokenization75%

Bag of Words75%

TF-IDF75%

GloVe75%

FastText75%

Embeddings75%