Нормированный кумулятивный выигрыш: учитывает градации релевантности и позиции с логарифмическим дисконтом.
- выигрыш от документа: растёт экспоненциально с его релевантностью
- дисконт по позиции: чем ниже документ в выдаче, тем меньше его вклад
Ключевые тезисы
- Позволяет работать с многоуровневой релевантностью, а не только с 0/1.
- Нормируется на идеальное ранжирование, поэтому лежит в [0, 1].
- Стандарт оценки поисковых и рекомендательных систем.
Какую задачу решает
В ранжировании важно не только что нашлось, но и на каком месте. учитывает и то, и другое: каждый результат вносит вклад пропорционально своей релевантности и обратно пропорционально логарифму позиции, поэтому ошибка на первом месте стоит дороже ошибки на десятом.
Нормировка на идеальный порядок делает значения сравнимыми между запросами: всегда лежит в отрезке от 0 до 1, независимо от того, сколько релевантных документов существует для конкретного запроса. Это и сделало метрику стандартом оценки поиска и рекомендаций.
Скидка по позициям: 1-я — 1.0, 2-я — 0.63, 3-я — 0.5, 10-я — 0.29. Переставить идеальный документ с первого места на третье означает потерять половину его вклада; перестановка с девятого на десятое почти незаметна. Поэтому улучшать выдачу почти всегда выгоднее сверху: работа над топ-3 даёт кратно больший прирост , чем перетасовка хвоста, — и это совпадает с тем, что видит пользователь.
Подробный разбор
- суммирование по всем перечисленным элементам
- логарифм: превращает произведения в суммы и сжимает масштаб
Числитель растёт экспоненциально с релевантностью (документ «идеально подходит» весит намного больше, чем «частично»), знаменатель гасит вклад далёких позиций. Нормировка на идеальное ранжирование приводит метрику к отрезку .
Релевантности топ-3: . . Идеальный порядок даёт , значит .
- Разные размеры выдачи: нормируется на идеал, поэтому сравним между запросами — в этом его преимущество.
- Позиционное смещение: клики зависят не только от релевантности, но и от позиции; при обучении по кликам нужны поправки (IPS).
- Градации релевантности нужно определить заранее: шкала 0–3 требует чёткой инструкции разметчикам.
Где применяется
- ПоискОсновная офлайн-метрика качества выдачи.
- РекомендацииОценка порядка в ленте или в блоке рекомендаций.
- Качество ранжирования фрагментов до подачи в модель напрямую определяет качество ответа.
- Обучение ранжированиюLambdaMART оптимизирует именно .
Плюсы, минусы и альтернативы
Плюсы
- Учитывает позицию: ошибка наверху дороже.
- Работает с градуированной релевантностью, а не только с бинарной.
- Нормирована и сравнима между запросами.
- Общепринята — результаты сопоставимы с литературой.
Минусы
- Требует размеченной релевантности, а разметка дорога.
- Логарифмическая скидка выбрана произвольно и не выведена из поведения пользователей.
- Не учитывает разнообразие выдачи: десять почти одинаковых хороших результатов получат высокий балл.
- Чувствительна к неполноте разметки: неоценённый документ считается нерелевантным.
Брать, если
- Задача — ранжирование и позиция имеет значение.
- Есть градуированные оценки релевантности.
Не брать, если
- Релевантность строго бинарна и позиций мало — или проще.
- Разметки нет: считать не из чего.
Чем заменяют
Связанные темы
Поиск, эмбеддинги и RAG
Embeddings80%
Эмбеддинги · Обработка естественного языкаПлотные векторные представления объектов, где геометрическая близость означает смысловое сходство.
Semantic Search80%
Семантический поиск · Обработка естественного языкаПоиск по смыслу, а не по совпадению слов: запрос и документы сравниваются в пространстве эмбеддингов.
RAG80%
Retrieval-Augmented Generation · Обработка естественного языкаЯзыковая модель отвечает, опираясь на найденные во внешней базе фрагменты, а не только на память весов.
TF-IDF80%
TF-IDF · Обработка естественного языкаВзвешивает частоту слова в документе на его редкость в корпусе, подавляя общеупотребительные слова.
RAG80%
RAG · Генеративный ИИПодмешивание найденных документов в контекст модели вместо хранения знаний в весах.
LLM80%
Большие языковые модели · Генеративный ИИТрансформеры-декодеры, обученные на огромных корпусах предсказывать следующий токен.
Agents80%
Агенты · Генеративный ИИLLM, которая планирует, вызывает инструменты и итеративно движется к цели.
MRR80%
Средний обратный ранг · МетрикиСреднее значение 1/rank первого релевантного результата.
MAP80%
Средняя усреднённая точность · МетрикиСреднее по запросам от average precision — учитывает и релевантность, и позиции.
Precision@K80%
Точность@K · МетрикиДоля релевантных объектов среди первых K позиций выдачи.
Recall@K80%
Полнота@K · МетрикиКакая доля всех релевантных объектов попала в топ-K.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Нормировка (IDCG)
Деление на DCG идеального порядка: значения становятся сравнимыми между запросами.
Разбор ниже: Дисконтирование по позицииГрадуированная релевантность
Оценки не бинарны: «отлично», «хорошо», «плохо» учитываются с разным весом.
Разбор ниже: Дисконтирование по позицииОтсечение @k
@10 считает только первые 10 позиций — то, что реально видит пользователь.
Разбор ниже: Практические тонкостиПрофильная компетенция для роли: Инженер рекомендаций.
Спрашивают на собеседовании: Яндекс — RecSys, Сбер — Рекомендации и персонализация, Т-Банк — Рекомендации и персонализация, Авито — Поиск и ранжирование, VK — Лента и рекомендации, Ozon — Поиск и рекомендации, Альфа-Банк — Персонализация и CVM, Магнит — Лояльность и персонализация, Lamoda — Рекомендации и поиск, Спортмастер — Рекомендации и омниканальность, HeadHunter — Матчинг и рекомендации, Циан — Поиск, ранжирование и достоверность, Авиасейлс — Ранжирование предложений, 2ГИС — Геопоиск и навигация.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Разбор архитектуры, где эта тема — один из кирпичей: требования, развилки, цифры и режимы отказа.
Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.