Рекомендательные системы

Recommender Systems

Кандидаты, ранжирование, метрики @K и офлайн-оценка

Направление атласа: Прикладные направления · Рекомендательные системы. Спрашивают: Яндекс, Сбер, Т-Банк, VK, Ozon, Lamoda и ещё 4. Закрывает проверки: Секция по рекомендациям и ранжированию (5).

Как устроен рекомендательный сервис: отбор кандидатов, ранжирование, борьба с холодным стартом и метрики, по которым решают, катить ли модель в прод.

15вопросов в заходе
24всего в банке
4оси знаний
~11минут на прохождение
Что спрашивать
Уровень
ПодходыМетрикиДанные и офлайн-оценкаПродакшен
  1. Отвечаете на вопрос — сразу видите разбор, а не только «верно/неверно».
  2. В конце получаете результат по осям и список тем, которые стоит перечитать.
  3. Темы с ошибками ставятся на повторение — кабинет напомнит о них через 3, 7 и 21 день.

Открытые задачи

2 задачи без вариантов ответа — такие дают на собеседовании уровня middle и senior. Ответ проверяется по чек-листу: он остаётся в браузере и не идёт в результат теста.

Спроектируйте рекомендательный блок на главной: каталог 30 млн товаров, 12 000 запросов в секунду, бюджет p99 — 50 мс.

ПродакшенSenior

Сначала ответьте — иначе проверка превращается в чтение.

Новая модель ранжирования выиграла офлайн (NDCG +6 %), а A/B показал ноль. Объясните, как такое возможно.

Данные и офлайн-оценкаSenior

Сначала ответьте — иначе проверка превращается в чтение.