Бустинг на табличных данных даёт AUC 0.91 на валидации и 0.78 в проде через месяц после выката. Как искать причину?
Задача — предсказание оттока клиентов. Пайплайн обучения и пайплайн инференса писали разные люди.
Classical ML
Линейные модели, деревья, бустинги, признаки и валидация
Направление атласа: Машинное обучение · Классический ML. Спрашивают: Яндекс, Сбер, Т-Банк, МТС, Альфа-Банк, ВТБ и ещё 19. Закрывает проверки: ML-секция: модели, признаки, валидация (39), Тестовое задание на данных (1), Секция по ML в безопасности (3).
Базовый тест для табличных задач: что выбрать в качестве бейзлайна, как не потерять качество на признаках и как проверить модель, чтобы результат повторился в проде.
2 задачи без вариантов ответа — такие дают на собеседовании уровня middle и senior. Ответ проверяется по чек-листу: он остаётся в браузере и не идёт в результат теста.
Задача — предсказание оттока клиентов. Пайплайн обучения и пайплайн инференса писали разные люди.