Production ML — ML в продакшене

Модель в проде — это сервис с SLA, мониторингом, версионированием и планом отката.

Ключевые тезисы

Простая модель, которая работает стабильно, лучше сложной и хрупкой.
Стоимость инференса — такое же требование, как и качество.
Заранее решите, что происходит при отказе модели: фолбэк-правило обязательно.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Требования к продовой модели

Качество — лишь одно из них.

Задержка и стоимость инференса вписаны в бюджет сервиса.
Фолбэк: что происходит, если модель недоступна или вернула мусор.
Логирование входов и предсказаний — иначе инцидент не расследовать.
Мониторинг данных и метрик с алертами.
Откат на предыдущую версию за минуты.
Владелец: у модели должен быть ответственный человек, а не «команда, которая её сделала два года назад».

На практике

Простая модель, которую понимает и поддерживает вся команда, почти всегда полезнее сложной, которую понимает один уехавший в отпуск автор.

Чек-лист перед релизом

Пройдите по нему до, а не после инцидента.

Метрики измерены на данных, максимально похожих на продовые, и по сегментам.
Контракт входа зафиксирован, валидация входных данных включена.
Логирование входов и предсказаний работает и не нарушает требований к персональным данным.
Мониторинг и алерты настроены до релиза, а не после.
Есть фолбэк и процедура отката, они протестированы.
Назначен владелец модели и дата следующего пересмотра.

Связанные темы

Доставка модели в прод · Рабочий цикл ML-инженера · Продакшен и эксплуатация

Model Deployment97%

Деплой моделей · MLOps

Доставка модели пользователю: онлайн-сервис, батч-скоринг или встраивание в приложение.

CI/CD for ML85%

CI/CD для ML · MLOps

Автоматизация проверок и выката: тесты кода, тесты данных, обучение и релиз модели по одной кнопке.

Model Versioning85%

Версионирование моделей · MLOps

Каждая обученная модель — артефакт с версией, метриками и происхождением.

MLflow85%

MLflow · MLOps

Открытая платформа для трекинга, упаковки и регистрации моделей.

Serving Architecture85%

Архитектура инференса · Системный дизайн ML-сервисов

Модель внутри приложения, отдельный сервис или платформа инференса — три уровня связанности.

Monitoring80%

Мониторинг · MLOps

Наблюдение за инфраструктурой, данными и качеством предсказаний после релиза.

Drift Detection80%

Детекция дрейфа · MLOps

Обнаружение расхождения между данными обучения и данными прода.

Retraining80%

Переобучение моделей · MLOps

Регулярное обновление модели на свежих данных по расписанию или по триггеру.

Docker80%

Docker · MLOps

Контейнеризация фиксирует окружение целиком: код, зависимости, системные библиотеки.

Kubernetes80%

Kubernetes · MLOps

Оркестрация контейнеров: масштабирование, самовосстановление, обновления без простоя.

ML Pipelines80%

ML-пайплайны · MLOps

Оформление обучения как воспроизводимой последовательности шагов вместо разрозненных ноутбуков.

Problem formulation70%

Постановка задачи · Практика ML

Перевод бизнес-вопроса в ML-задачу с целевой переменной, метрикой и ограничениями.

Baselines70%

Бейзлайны · Практика ML

Простейшее решение, с которым сравнивается всё остальное: константа, правило, логистическая регрессия.

Debugging models70%

Отладка моделей · Практика ML

Систематический поиск причины, почему модель не учится или ведёт себя странно.

Hyperparameter tuning70%

Настройка гиперпараметров · Практика ML

Поиск конфигурации модели по валидационной метрике — последний, а не первый шаг работы.

Overfitting70%

Переобучение · Практика ML

Модель запомнила обучающую выборку вместе с шумом: train-метрика отличная, val — плохая.

Error analysis70%

Анализ ошибок · Оценка моделей

Ручной разбор случаев, где модель ошибается: почти всегда даёт больше, чем очередной перебор гиперпараметров.