TF-IDF

Взвешивает частоту слова в документе на его редкость в корпусе, подавляя общеупотребительные слова.

tf-idf = \frac{n _{t, d}}{\sum _{k} n _{k, d}} \cdot lo g \frac{N}{df ( t )}

Что означает каждый компонент

$t f$ частота слова в документе: насколько оно важно именно здесь
$i df$ редкость слова в корпусе: «и» встречается везде и получает почти нулевой вес

Ключевые тезисы

Классический бейзлайн для поиска и классификации текстов.
BM25 — его усовершенствованная версия, стандарт лексического поиска.
В гибридном поиске отлично дополняет плотные эмбеддинги.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Формула и смысл множителей

Частота в документе против редкости в корпусе.

tf-idf (t, d) = tf \frac{n _{t, d}}{\sum _{k} n _{k, d}} \cdot idf lo g \frac{N}{∣ { d ^{'} : t \in d ^{'} } ∣}

Обозначения

$n$ число объектов в выборке
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$\sum$ суммирование по всем перечисленным элементам
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

Слово «и» встречается в каждом документе — его idf близок к нулю. Слово «гидроразрыв» встречается в трёх документах из миллиона — его idf огромен, и присутствие такого слова почти однозначно определяет тему.

BM25 — усовершенствованная версия

Стандарт лексического поиска и половина любого гибридного retrieval.

BM25 (t, d) = idf (t) \cdot \frac{f _{t, d} ( k _{1} + 1 )}{f _{t, d} + k _{1} ( 1 - b + b \frac{∣ d ∣}{∣ d ∣} )}

Насыщение по частоте: десятое вхождение слова добавляет намного меньше, чем второе.
Нормировка на длину документа: длинные тексты не получают преимущества автоматически.
Типичные параметры: $k_{1} \approx 1.2$ , $b \approx 0.75$ .

На практике

В RAG-системах BM25 в паре с плотными эмбеддингами почти всегда лучше любого из методов по отдельности: лексический поиск ловит точные термины и артикулы, векторный — смысл.

Связанные темы

Поиск, эмбеддинги и RAG · От слов к векторам

Ключевые тезисы

Подробный разбор

Формула и смысл множителей

BM25 — усовершенствованная версия

Связанные темы

Embeddings95%

Semantic Search80%

RAG80%

RAG80%

LLM80%

Agents80%

NDCG80%

MRR80%

MAP80%

Precision@K80%

Recall@K80%

Tokenization75%

Bag of Words75%

Word2Vec75%

GloVe75%

FastText75%