Автоматизация проверок и выката: тесты кода, тесты данных, обучение и релиз модели по одной кнопке.
Ключевые тезисы
- Тесты для ML — это не только unit-тесты: проверяются схема данных, метрики и контракт модели.
- Артефакт релиза — образ с кодом плюс ссылка на версию модели.
- Правило: ни одна модель не попадает в прод в обход , даже «срочно».
Подробный разбор
- Код: линтеры, типы, unit-тесты препроцессинга и функций .
- Данные: схема, диапазоны, доля пропусков на фиксированном сэмпле.
- Модель: обучение на маленьком срезе, проверка контракта входа-выхода, метрика не ниже порога.
def test_contract():
out = model.predict(sample_batch)
assert out.shape == (len(sample_batch),)
assert np.isfinite(out).all() and ((out >= 0) & (out <= 1)).all()
def test_no_regression():
assert roc_auc_score(y_ref, model.predict(X_ref)) >= 0.82Код и веса модели должны выкатываться независимо: смена модели не должна требовать пересборки образа, а исправление бага в коде — .
- Модель берётся из реестра по явной версии, а не по тегу
latest. - Канареечный выкат по версии модели с автооткатом по guardrail-метрикам.
- Каждый релиз фиксирует связку: версия кода + версия модели + версия данных.
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Доставка модели в прод · Зрелость ML-процесса
Model Versioning85%
Версионирование моделей · MLOpsКаждая обученная модель — артефакт с версией, метриками и происхождением.
Model Deployment85%
Деплой моделей · MLOpsДоставка модели пользователю: онлайн-сервис, батч-скоринг или встраивание в приложение.
MLflow85%
MLflow · MLOpsОткрытая платформа для трекинга, упаковки и регистрации моделей.
Serving Architecture85%
Архитектура инференса · Системный дизайн ML-сервисовМодель внутри приложения, отдельный сервис или платформа инференса — три уровня связанности.
Production ML85%
ML в продакшене · Практика MLМодель в проде — это сервис с SLA, мониторингом, версионированием и планом отката.
MLOps Maturity80%
Уровни зрелости MLOps · MLOpsШкала от ручных ноутбуков до полностью автоматического цикла обучения и выката — способ понять, где команда сейчас.
ML Pipelines80%
ML-пайплайны · MLOpsОформление обучения как воспроизводимой последовательности шагов вместо разрозненных ноутбуков.
Monitoring80%
Мониторинг · MLOpsНаблюдение за инфраструктурой, данными и качеством предсказаний после релиза.
Drift Detection80%
Детекция дрейфа · MLOpsОбнаружение расхождения между данными обучения и данными прода.
Retraining80%
Переобучение моделей · MLOpsРегулярное обновление модели на свежих данных по расписанию или по триггеру.
Data Versioning80%
Версионирование данных · MLOpsДанные меняются чаще кода — без их версий эксперимент не воспроизвести.
Профильная компетенция для ролей: ML Engineer, Data Engineer, MLOps-инженер, Продуктовый инженер.
Спрашивают на собеседовании: Сбер — Промышленный ML и MLOps.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «MLOps» последний раз правилась . Нашли ошибку — напишите.