Антифрод, скоринг, рекомендации и голосовой помощник
Банк, выросший из технологической компании: почти всё продуктовое решение проходит через эксперимент, а модели работают в реальном времени под нагрузкой. На собеседовании это видно по упору на метрики продукта, A/B-тесты и умение довести модель до онлайн-сервиса с жёстким бюджетом задержки.
Порядок и состав секций меняются от команды к команде — это типовая схема, собранная по открытым источникам. Этапы, на которых проверяют знания, ведут в разбор формата: что оценивают и чем закрывать пробелы.
Разговор с рекрутером: направление, опыт, ожидания. Иногда предлагают короткий тест или задачу на данных до секций.
Структуры данных, сложность, аккуратный код. Отдельная от ML секция, и готовиться к ней нужно отдельно.
Постановка задачи, признаки, валидация, метрики. Много вопросов про то, как вы поняли, что модель работает, а не только про её устройство.
Дизайн эксперимента, выбор метрики, интерпретация результата. Спрашивают и о том, что делать, когда метрика не выросла.
Разговор с руководителем: задачи команды, процессы, уровень.
3 формата проверки из отбора Т-Банк — и тест атласа под каждый. Слабые места видно сразу после захода, а темы для разбора собираются автоматически.
Живое кодирование: решение вслух и код в редакторе
На чём валятсяКлассика табличных задач и честная проверка качества
На чём валятсяДизайн эксперимента, значимость и решение по результату
На чём валятся20 тем по всем направлениям Т-Банк — если команда ещё не выбрана. Программа разложит их по неделям от математики к продакшену; под конкретное направление список короче, и его можно собрать ниже.
Эти 20 тем можно разложить по неделям: программа выстроит их от математики к продакшену, поставит тест в конце каждой недели и вернёт тему на повторение, если вы в ней ошиблись. Выйдет примерно 4 недели под Т-Банк · Все направления.
Проверяем, вошли ли вы…
Выберите направление: обязательные темы со ссылками в атлас, типовые вопросы с ответами и тест для самопроверки.
Обнаружение мошенничества и оценка риска в реальном времени. Специфика — сильнейший дисбаланс классов, состязательный характер задачи (противник адаптируется) и цена ошибки, разная в две стороны.
Эти 8 тем можно разложить по неделям: программа выстроит их от математики к продакшену, поставит тест в конце каждой недели и вернёт тему на повторение, если вы в ней ошиблись. Выйдет примерно 2 недели под Т-Банк · Антифрод и риски.
Проверяем, вошли ли вы…
ROC-AUC усредняет по всем порогам и на сильном дисбалансе выглядит завышенным: доля ложноположительных считается от огромного числа отрицательных, поэтому даже плохая модель даёт красивую кривую. Смотреть надо PR-AUC и точность на том рабочем участке полноты, который реально используется, — например, precision при recall 0,3.
Разбор в атласе: PR-AUC — PR-AUC →Через матрицу стоимостей: назначить цену каждому типу ошибки и минимизировать ожидаемые потери, а не максимизировать F1. Для этого нужны калиброванные вероятности — иначе ожидание считается по числам, которые вероятностями не являются. Порог пересматривают вместе с бизнесом и перепроверяют после каждого переобучения.
Разбор в атласе: Calibration — Калибровка →Задача становится нестационарной по построению: распределение меняется в ответ на саму модель. Отсюда частое переобучение, мониторинг дрейфа как обязательный, а не желательный элемент, доля правил рядом с моделью для быстрой реакции и отдельный контур поиска новых схем без разметки — аномалии.
Разбор в атласе: Drift Detection — Детекция дрейфа →Только по времени: обучение до момента T, проверка после. Случайное разбиение даст утечку через признаки, агрегированные по пользователю, и завысит качество. Дополнительно смотрят стабильность метрики по неделям — модель, хорошая в среднем и разваливающаяся в отдельные периоды, в проде опасна.
Разбор в атласе: Data leakage — Утечка данных →