Поиск и ранжирование, модерация контента, рекомендации
Классифайд с огромным потоком пользовательского контента: объявления пишут и фотографируют миллионы людей, и почти каждая ML-задача упирается в грязные данные и в масштаб. На собеседовании много спрашивают про поиск и ранжирование, про модерацию мультимодального контента и про то, как измерять качество там, где нет чистой разметки.
Порядок и состав секций меняются от команды к команде — это типовая схема, собранная по открытым источникам. Этапы, на которых проверяют знания, ведут в разбор формата: что оценивают и чем закрывать пробелы.
Рекрутер уточняет направление и опыт, рассказывает про команды: поиск, рекомендации, модерация, монетизация.
Python, SQL, базовые алгоритмы. Проверяют не экзотику, а способность аккуратно решить обычную задачу.
Глубокие вопросы по вашему направлению: ранжирование, зрение и текст в модерации, рекомендации.
Спроектировать ML-систему целиком: требования, данные, архитектура, метрики, что ломается в проде.
Команда, задачи, ожидания по уровню.
3 формата проверки из отбора Авито — и тест атласа под каждый. Слабые места видно сразу после захода, а темы для разбора собираются автоматически.
Код, который готовит данные: агрегаты, соединения, пропуски
На чём валятсяКлассика табличных задач и честная проверка качества
На чём валятсяОт постановки до эксплуатации на одной доске
На чём валятся14 тем по всем направлениям Авито — если команда ещё не выбрана. Программа разложит их по неделям от математики к продакшену; под конкретное направление список короче, и его можно собрать ниже.
Эти 14 тем можно разложить по неделям: программа выстроит их от математики к продакшену, поставит тест в конце каждой недели и вернёт тему на повторение, если вы в ней ошиблись. Выйдет примерно 3 недели под Авито · Все направления.
Проверяем, вошли ли вы…
Выберите направление: обязательные темы со ссылками в атлас, типовые вопросы с ответами и тест для самопроверки.
Подбор и упорядочивание результатов по запросу. Специфика — короткие запросы с опечатками, разнородный контент и постоянное расхождение между кликом и удовлетворённостью.
Эти 7 тем можно разложить по неделям: программа выстроит их от математики к продакшену, поставит тест в конце каждой недели и вернёт тему на повторение, если вы в ней ошиблись. Выйдет примерно 2 недели под Авито · Поиск и ранжирование.
Проверяем, вошли ли вы…
Векторный поиск проваливается на точных редких строках: артикул, модель товара, название посёлка. BM25 их находит именно потому, что работает с лексикой. Выдачи объединяют (обычно reciprocal rank fusion) и переранжируют кросс-энкодером по верхушке — так закрываются обе слабости.
Разбор в атласе: Semantic Search — Семантический поиск →Клик — плохой прокси: заголовок-приманка собирает клики и портит опыт. Смотрят на цепочку целиком — время после клика, возврат в выдачу, дальнейшее действие (звонок, сообщение, сделка). В офлайн-метрику это заводят взвешенной релевантностью, а не бинарным кликом.
Разбор в атласе: NDCG — NDCG →Тремя источниками сразу: небольшая экспертная разметка на выборке запросов, поведенческие сигналы с поправкой на позицию и A/B-тест как финальный судья. Ни один из них по отдельности не достаточен — экспертная выборка мала, поведение смещено показом, A/B медленный и дорогой.
Разбор в атласе: A/B testing — A/B-тестирование →