Среднее значение 1/rank первого релевантного результата.
Ключевые тезисы
- Идеальна там, где нужен ровно один правильный ответ: QA, навигационный поиск.
- Игнорирует все релевантные объекты кроме первого.
- Часто используется для оценки retrieval в RAG-системах.
Подробный разбор
- распределение, предсказанное моделью
- суммирование по всем перечисленным элементам
| Позиция первого верного ответа | Вклад |
|---|---|
| 1 | 1.00 |
| 2 | 0.50 |
| 3 | 0.33 |
| 10 | 0.10 |
— стандартная метрика оценки retrieval в RAG-системах: если нужный документ оказался пятым, модель, скорее всего, его уже не использует.
- Соберите вопросы и отметьте документ (или чанк), содержащий ответ.
- Для каждого вопроса найдите позицию правильного чанка в выдаче.
- Усредните ; отсутствие в топ-k считайте нулём.
0.6 означает, что нужный фрагмент в среднем находится примерно на второй позиции — для это хороший уровень. При MRR ниже 0.3 чаще всего работает с нерелевантным контекстом.
Связанные темы
Поиск, эмбеддинги и RAG
Embeddings80%
Эмбеддинги · Обработка естественного языкаПлотные векторные представления объектов, где геометрическая близость означает смысловое сходство.
Semantic Search80%
Семантический поиск · Обработка естественного языкаПоиск по смыслу, а не по совпадению слов: запрос и документы сравниваются в пространстве эмбеддингов.
RAG80%
Retrieval-Augmented Generation · Обработка естественного языкаЯзыковая модель отвечает, опираясь на найденные во внешней базе фрагменты, а не только на память весов.
TF-IDF80%
TF-IDF · Обработка естественного языкаВзвешивает частоту слова в документе на его редкость в корпусе, подавляя общеупотребительные слова.
RAG80%
RAG · Генеративный ИИПодмешивание найденных документов в контекст модели вместо хранения знаний в весах.
LLM80%
Большие языковые модели · Генеративный ИИТрансформеры-декодеры, обученные на огромных корпусах предсказывать следующий токен.
Agents80%
Агенты · Генеративный ИИLLM, которая планирует, вызывает инструменты и итеративно движется к цели.
NDCG80%
NDCG · МетрикиНормированный дисконтированный кумулятивный выигрыш: учитывает градации релевантности и позиции с логарифмическим дисконтом.
MAP80%
Средняя усреднённая точность · МетрикиСреднее по запросам от average precision — учитывает и релевантность, и позиции.
Precision@K80%
Точность@K · МетрикиДоля релевантных объектов среди первых K позиций выдачи.
Recall@K80%
Полнота@K · МетрикиКакая доля всех релевантных объектов попала в топ-K.
Профильная компетенция для роли: Инженер рекомендаций.
Спрашивают на собеседовании: Яндекс — RecSys, Ozon — Поиск и рекомендации, Точка — Ассистенты и поддержка, HeadHunter — Матчинг и рекомендации, Авиасейлс — Ранжирование предложений, 2ГИС — Геопоиск и навигация.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.