КабинетПоиск
MLOps

Drift Detection

Детекция дрейфа

новинкаНовое или быстро растущее направление

Направления: Инженерия ИИ · MLOps, Доверенный ИИ · Безопасность поведения

Обнаружение расхождения между данными обучения и данными прода.

Ключевые тезисы

  • — меняется распределение ; concept drift — сама зависимость.
  • Тесты: KS, PSI, расстояние Дженсена — Шеннона.
  • — сигнал к расследованию, а не автоматический повод переобучаться.

Какую задачу решает

— это расхождение между данными, на которых модель обучалась, и теми, что она видит сейчас. Различают два вида, и лечатся они по-разному. При дрейфе данных меняется распределение входов, а связь « → цель» остаётся прежней. При дрейфе концепции меняется сама связь, и никакие новые признаки не помогут — нужно .

Практическая ценность обнаружения в том, что он виден без меток. Истинный исход приходит с задержкой в недели, а сдвиг распределения — прямо сейчас. Это единственный ранний сигнал, доступный до того, как деградация проявится в бизнес-метрике.

Почему PSI, а не p-value

На потоке в миллион записей тест Колмогорова — Смирнова даст практически для любого : при таком объёме статистически значим сдвиг среднего на сотые доли процента, который не меняет ровно ничего. PSI измеряет не значимость, а величину сдвига, и потому пригоден как рабочий порог: до 0.1 — изменений нет, 0.1–0.2 — умеренный сдвиг, стоит посмотреть, выше 0.2 — существенный, нужна реакция. Общее правило : используйте меры размера эффекта, а не .

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

  • Covariate shift: изменилось — например, пришла новая аудитория.
  • Concept drift: изменилось — поведение клиентов поменялось при тех же .
  • Label shift: изменилась доля классов.
Обозначения
  • вероятность (или плотность распределения)
  • суммирование по всем перечисленным элементам
  • логарифм: превращает произведения в суммы и сжимает масштаб
PSI < 0.1 — стабильно, 0.1–0.25 — умеренный сдвиг, > 0.25 — серьёзный
На практике

— повод расследовать, а не автоматически переобучать. Сначала проверьте, не сломался ли источник данных: чаще всего «дрейф» оказывается багом в пайплайне.

  1. Доля пропусков и ошибок парсинга по каждому признаку — ловит поломки источников.
  2. Распределение предсказаний модели: сдвиг среднего скора виден раньше, чем падение метрики.
  3. Распределения топ-5 самых важных .
  4. Доля новых категорий в категориальных полях.
0.000.250.500.751.000.00.51.0pH, битq
H(p)1.000 бит
H(p, q)1.000 бит
KL(p‖q)0.000 бит
PSI и KL измеряют одно и то же — расхождение между эталонным и текущим распределением

Где применяется

  • Ранний сигнал деградацииРеакция до того, как упадёт качество и это заметит бизнес.
  • Триггер по факту сдвига вместо календаря — дешевле и своевременнее.
  • Диагностика поломокРезкий одного — почти всегда баг в пайплайне, а не изменение мира.
  • и событияОтличить ожидаемый сезонный сдвиг от настоящей проблемы.

Плюсы, минусы и альтернативы

Плюсы

  • Работает без меток и потому даёт сигнал немедленно.
  • Указывает на конкретный , а не просто на «стало хуже».
  • Ловит поломки инфраструктуры, которые иначе тихо портят качество.
  • Дёшево считается на выборке.

Минусы

  • не всегда означает падение качества — бывают безобидные сдвиги.
  • Статистические тесты на больших выборках находят значимость везде.
  • концепции без меток не обнаружить в принципе.
  • Пороги приходится по историческим данным.

Брать, если

  • Модель в проде, а метки приходят с задержкой.
  • Данные заведомо нестационарны: поведение пользователей, цены, .

Не брать, если

  • Метки приходят мгновенно — измеряйте качество напрямую, это точнее.
  • Выборка мала: тесты дадут шум.

Чем заменяют

MonitoringактуальноМониторинг · MLOpsНужен разбор целиком, а не только сдвига данных.RetrainingактуальноПереобучение моделей · MLOps обнаружен — следующий вопрос про стратегию .

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «MLOps» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.

Курс: Системный дизайн ML7 записейКурс: Введение в MLOps5 записейКурс: Прикладной MLOps11 записей

Связанные темы

Продакшен и эксплуатация · Зрелость ML-процесса

Monitoring96%

Мониторинг · MLOps

Наблюдение за инфраструктурой, данными и качеством предсказаний после релиза.

Retraining96%

Переобучение моделей · MLOps

Регулярное обновление модели на свежих данных по расписанию или по триггеру.

ML Pipelines96%

ML-пайплайны · MLOps

Оформление обучения как воспроизводимой последовательности шагов вместо разрозненных ноутбуков.

Model Deployment80%

Деплой моделей · MLOps

Доставка модели пользователю: онлайн-сервис, батч-скоринг или встраивание в приложение.

Docker80%

Docker · MLOps

Контейнеризация фиксирует окружение целиком: код, зависимости, системные библиотеки.

Kubernetes80%

Kubernetes · MLOps

Оркестрация контейнеров: масштабирование, самовосстановление, обновления без простоя.

Production ML80%

ML в продакшене · Практика ML

Модель в проде — это сервис с SLA, мониторингом, версионированием и планом отката.

MLOps Maturity80%

Уровни зрелости MLOps · MLOps

Шкала от ручных ноутбуков до полностью автоматического цикла обучения и выката — способ понять, где команда сейчас.

CI/CD for ML80%

CI/CD для ML · MLOps

Автоматизация проверок и выката: тесты кода, тесты данных, обучение и релиз модели по одной кнопке.

Data Versioning80%

Версионирование данных · MLOps

Данные меняются чаще кода — без их версий эксперимент не воспроизвести.

Кому эта тема нужна

Профильная компетенция для ролей: ML Engineer, MLOps-инженер, Продуктовый инженер.

Усиливает профиль: Data Engineer, LLM-инженер, CV-инженер, Инженер рекомендаций, Инженер речи.

Спрашивают на собеседовании: Яндекс — ASR / TTS, Сбер — Скоринг и риски, Сбер — Речевые технологии, Сбер — Промышленный ML и MLOps, Т-Банк — Антифрод и риски, Альфа-Банк — Скоринг и кредитные риски, ВТБ — Риск-модели, Совкомбанк — Скоринг и взыскание, Точка — Антифрод и комплаенс, ЮMoney — Антифрод платежей, BI.ZONE — Антифрод и защита от автоматизации, Газпром нефть — Переработка и оптимизация, СИБУР — Предиктивное обслуживание.

Добавить в учебную программу
Проверить себя

Тема встречается в тестах по направлениям — ошибки приведут обратно на эту страницу.

Тест: Речь: ASR и TTS24Тест: MLOps и инженерия24Тест: Дизайн ML-систем22
Тема в работе целиком

Разбор архитектуры, где эта тема — один из кирпичей: требования, развилки, цифры и режимы отказа.

Кейс: Телеметрия с битыми датчикамиКейс: Антифрод в реальном времени
Следующий шагПроверить себя: Речь: ASR и TTSТема встречается в этом тесте 2 раза. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →
← MonitoringRetraining →

Глава «MLOps» последний раз правилась . Нашли ошибку — напишите.