Среднее по запросам от average — учитывает и релевантность, и позиции.
Ключевые тезисы
- Награждает за размещение релевантных объектов выше в списке.
- Работает с бинарной релевантностью.
- Классическая метрика информационного поиска.
Подробный разбор
- число объектов в выборке
- размер топа выдачи (K) или номер позиции
- суммирование по всем перечисленным элементам
- распределение, предсказанное моделью
- суммирование по всем перечисленным элементам
Та же метрика под именем используется в : там «релевантность» определяется порогом , а усреднение идёт по классам и порогам.
- Предсказанная рамка считается верной, если с истинной выше порога.
- Для каждого класса строится PR-кривая по уверенности предсказаний.
- AP усредняется по классам, а в COCO — ещё и по порогам от 0.5 до 0.95.
Поэтому @0.5 всегда заметно выше mAP@[.5:.95] — при сравнении моделей обязательно уточняйте, какой вариант приведён.
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Поиск, эмбеддинги и RAG
Embeddings80%
Эмбеддинги · Обработка естественного языкаПлотные векторные представления объектов, где геометрическая близость означает смысловое сходство.
Semantic Search80%
Семантический поиск · Обработка естественного языкаПоиск по смыслу, а не по совпадению слов: запрос и документы сравниваются в пространстве эмбеддингов.
RAG80%
Retrieval-Augmented Generation · Обработка естественного языкаЯзыковая модель отвечает, опираясь на найденные во внешней базе фрагменты, а не только на память весов.
TF-IDF80%
TF-IDF · Обработка естественного языкаВзвешивает частоту слова в документе на его редкость в корпусе, подавляя общеупотребительные слова.
RAG80%
RAG · Генеративный ИИПодмешивание найденных документов в контекст модели вместо хранения знаний в весах.
LLM80%
Большие языковые модели · Генеративный ИИТрансформеры-декодеры, обученные на огромных корпусах предсказывать следующий токен.
Agents80%
Агенты · Генеративный ИИLLM, которая планирует, вызывает инструменты и итеративно движется к цели.
NDCG80%
NDCG · МетрикиНормированный дисконтированный кумулятивный выигрыш: учитывает градации релевантности и позиции с логарифмическим дисконтом.
MRR80%
Средний обратный ранг · МетрикиСреднее значение 1/rank первого релевантного результата.
Precision@K80%
Точность@K · МетрикиДоля релевантных объектов среди первых K позиций выдачи.
Recall@K80%
Полнота@K · МетрикиКакая доля всех релевантных объектов попала в топ-K.
Спрашивают на собеседовании: Авито — Поиск и ранжирование.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.