Bag of Words — Мешок слов

Текст представляется вектором частот слов, порядок полностью игнорируется.

Ключевые тезисы

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Документ как вектор частот.

Пример

Тексты: «кот сел на коврик», «кот съел кота». Словарь: {кот, сел, на, коврик, съел, кота}. Векторы: $(1, 1, 1, 1, 0, 0)$ и $(1, 0, 0, 0, 1, 1)$ .

Порядок слов теряется полностью: «собака укусила человека» = «человек укусил собаку».
Размерность равна размеру словаря — десятки тысяч, но векторы крайне разрежены.
N-граммы частично возвращают порядок ценой ещё большей размерности.

На практике

Несмотря на примитивность, BoW + логистическая регрессия остаётся сильным бейзлайном для классификации коротких текстов и ставится за пять минут.

Что делать перед векторизацией, а что делать не нужно.

Приведение к нижнему регистру — почти всегда полезно, кроме задач, где регистр несёт смысл (NER, тикеры).
Лемматизация (pymorphy, spaCy) сильно помогает русскому: «идти», «шёл», «идут» сливаются в одну форму.
Стоп-слова — в классификации часто вредно удалять: «не» и «без» несут тональность.
Символьные n-граммы спасают при опечатках и сленге.

TfidfVectorizer(analyzer="char_wb", ngram_range=(3, 5), min_df=3)

Символьные n-граммы устойчивы к опечаткам и морфологии — сильный приём для русского

От слов к векторам

Разбиение текста на единицы, с которыми работает модель: слова, подслова или байты.

Взвешивает частоту слова в документе на его редкость в корпусе, подавляя общеупотребительные слова.

Обучает плотные векторы слов по контексту: близкие по смыслу слова оказываются рядом в пространстве.

Строит эмбеддинги из глобальной матрицы совстречаемости слов, а не только из локальных окон.

Представляет слово суммой векторов его символьных n-грамм, что даёт эмбеддинги даже для незнакомых слов.

Плотные векторные представления объектов, где геометрическая близость означает смысловое сходство.