Drift Detection — Детекция дрейфа

Обнаружение расхождения между данными обучения и данными прода.

Ключевые тезисы

Data drift — меняется распределение признаков; concept drift — сама зависимость.
Тесты: KS, PSI, расстояние Дженсена — Шеннона.
Дрейф — сигнал к расследованию, а не автоматический повод переобучаться.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Виды дрейфа и тесты

Меняются данные или сама зависимость.

Covariate shift: изменилось $p (x)$ — например, пришла новая аудитория.
Concept drift: изменилось $p (y ∣ x)$ — поведение клиентов поменялось при тех же признаках.
Label shift: изменилась доля классов.

PSI = b \sum (p_{b}^{new} - p_{b}^{ref}) ln \frac{p _{b}^{new}}{p _{b}^{ref}}

Обозначения

$p$ вероятность (или плотность распределения)
$\sum$ суммирование по всем перечисленным элементам
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

PSI < 0.1 — стабильно, 0.1–0.25 — умеренный сдвиг, > 0.25 — серьёзный

На практике

Дрейф — повод расследовать, а не автоматически переобучать. Сначала проверьте, не сломался ли источник данных: чаще всего «дрейф» оказывается багом в пайплайне.

За чем следить в первую очередь

Приоритеты, если ресурсов на всё не хватает.

Доля пропусков и ошибок парсинга по каждому признаку — ловит поломки источников.
Распределение предсказаний модели: сдвиг среднего скора виден раньше, чем падение метрики.
Распределения топ-5 самых важных признаков.
Доля новых категорий в категориальных полях.

H(p)1.000 бит

H(p, q)1.000 бит

KL(p‖q)0.000 бит

Истинная вероятность p0.50Предсказание модели q0.50

PSI и KL измеряют одно и то же — расхождение между эталонным и текущим распределением

Связанные темы

Продакшен и эксплуатация

Model Deployment80%

Деплой моделей · MLOps

Доставка модели пользователю: онлайн-сервис, батч-скоринг или встраивание в приложение.

Monitoring80%

Мониторинг · MLOps

Наблюдение за инфраструктурой, данными и качеством предсказаний после релиза.

Retraining80%

Переобучение моделей · MLOps

Регулярное обновление модели на свежих данных по расписанию или по триггеру.

Docker80%

Docker · MLOps

Контейнеризация фиксирует окружение целиком: код, зависимости, системные библиотеки.

Kubernetes80%

Kubernetes · MLOps

Оркестрация контейнеров: масштабирование, самовосстановление, обновления без простоя.

ML Pipelines80%

ML-пайплайны · MLOps

Оформление обучения как воспроизводимой последовательности шагов вместо разрозненных ноутбуков.

Production ML80%

ML в продакшене · Практика ML

Модель в проде — это сервис с SLA, мониторингом, версионированием и планом отката.