Доля релевантных объектов среди первых K позиций выдачи.
Ключевые тезисы
- Отражает то, что пользователь реально видит на первом экране.
- Не учитывает порядок внутри топ-K.
- K выбирают по продуктовой логике: размер блока рекомендаций.
Подробный разбор
В блоке из 10 рекомендаций пользователю подошли 3 → @10 = 0.3. Порядок внутри десятки эта метрика не различает — для этого есть .
Если блок рекомендаций показывает 5 карточек, а @5 = 0.2, то в среднем пользователю подходит одна карточка из блока. Рост до 0.4 удваивает число полезных карточек — и это уже переводится в CTR.
Офлайн-метрики рекомендаций смещены: вы измеряете качество на том, что пользователи видели, а видели они выдачу старой модели. Финальный ответ даёт только .
Связанные темы
Поиск, эмбеддинги и RAG
Embeddings80%
Эмбеддинги · Обработка естественного языкаПлотные векторные представления объектов, где геометрическая близость означает смысловое сходство.
Semantic Search80%
Семантический поиск · Обработка естественного языкаПоиск по смыслу, а не по совпадению слов: запрос и документы сравниваются в пространстве эмбеддингов.
RAG80%
Retrieval-Augmented Generation · Обработка естественного языкаЯзыковая модель отвечает, опираясь на найденные во внешней базе фрагменты, а не только на память весов.
TF-IDF80%
TF-IDF · Обработка естественного языкаВзвешивает частоту слова в документе на его редкость в корпусе, подавляя общеупотребительные слова.
RAG80%
RAG · Генеративный ИИПодмешивание найденных документов в контекст модели вместо хранения знаний в весах.
LLM80%
Большие языковые модели · Генеративный ИИТрансформеры-декодеры, обученные на огромных корпусах предсказывать следующий токен.
Agents80%
Агенты · Генеративный ИИLLM, которая планирует, вызывает инструменты и итеративно движется к цели.
NDCG80%
NDCG · МетрикиНормированный дисконтированный кумулятивный выигрыш: учитывает градации релевантности и позиции с логарифмическим дисконтом.
MRR80%
Средний обратный ранг · МетрикиСреднее значение 1/rank первого релевантного результата.
MAP80%
Средняя усреднённая точность · МетрикиСреднее по запросам от average precision — учитывает и релевантность, и позиции.
Recall@K80%
Полнота@K · МетрикиКакая доля всех релевантных объектов попала в топ-K.
Профильная компетенция для роли: Инженер рекомендаций.
Спрашивают на собеседовании: Яндекс — RecSys, Сбер — Рекомендации и персонализация, VK — Лента и рекомендации, Ozon — Поиск и рекомендации, МТС — Отток и персональные предложения, Альфа-Банк — Персонализация и CVM, Магнит — Лояльность и персонализация, Lamoda — Рекомендации и поиск, Спортмастер — Рекомендации и омниканальность, HeadHunter — Матчинг и рекомендации, Циан — Поиск, ранжирование и достоверность, Авиасейлс — Ранжирование предложений, МегаФон — Отток и предложения, билайн — Маркетинг и удержание, Ростелеком — Качество сети и отток.
Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.