Фиксация параметров, метрик, артефактов и версии кода для каждого запуска.
Ключевые тезисы
- Без трекинга «лучшая модель» через месяц невоспроизводима.
- Логируйте seed, версию данных и git-хеш.
- Инструменты: , W&B, ClearML, Neptune.
Подробный разбор
- и целиком.
- Git-хеш кода и версия данных (DVC-хеш или ).
- Все метрики по фолдам, а не только среднее.
- Random seed и версии ключевых библиотек.
- Артефакты: веса модели, графики, , примеры ошибок.
import mlflow
with mlflow.start_run(run_name="lgbm-v3"):
mlflow.log_params(params)
mlflow.log_metric("roc_auc_cv", score.mean())
mlflow.log_metric("roc_auc_std", score.std())
mlflow.set_tag("git_sha", sha)
mlflow.log_artifact("feature_importance.png")
mlflow.sklearn.log_model(model, "model")- Единое имя эксперимента на задачу, run_name с осмысленным префиксом версии.
- Теги: тип модели, набор , автор, ветка.
- Одна главная метрика, зафиксированная заранее, — иначе сравнение превратится в спор.
- Автоматическое логирование целиком, а не выборочных параметров.
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Воспроизводимость · Перебор конфигураций
Distributed Hyperparameter Search80%
Распределённый подбор гиперпараметров · Вычислительная инфраструктураДесятки обучений на кластере вместо одного: пространство поиска, параллельные trials, ранняя остановка безнадёжных.
Hyperparameter tuning80%
Настройка гиперпараметров · Практика MLПоиск конфигурации модели по валидационной метрике — последний, а не первый шаг работы.
Random Search80%
Случайный поиск · Практика MLСлучайная выборка конфигураций из заданных распределений.
Bayesian Optimization80%
Байесовская оптимизация · Практика MLСтроит модель зависимости метрики от гиперпараметров и выбирает следующую точку осознанно.
Cross-validation80%
Кросс-валидация · Оценка моделейМногократное разбиение выборки, дающее оценку качества вместе с её разбросом.
MLflow75%
MLflow · MLOpsОткрытая платформа для трекинга, упаковки и регистрации моделей.
Data Versioning75%
Версионирование данных · MLOpsДанные меняются чаще кода — без их версий эксперимент не воспроизвести.
Model Versioning75%
Версионирование моделей · MLOpsКаждая обученная модель — артефакт с версией, метриками и происхождением.
ML Pipelines75%
ML-пайплайны · MLOpsОформление обучения как воспроизводимой последовательности шагов вместо разрозненных ноутбуков.
Ablation studies75%
Абляционные исследования · Оценка моделейПоочерёдное отключение компонентов, чтобы понять, что именно даёт прирост качества.
Профильная компетенция для ролей: ML Engineer, MLOps-инженер.
Усиливает профиль: Data Scientist, Data Engineer.
Спрашивают на собеседовании: Группа Астра — Платформа и эксплуатация ML, Cloud.ru — Платформа обучения.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Разбор архитектуры, где эта тема — один из кирпичей: требования, развилки, цифры и режимы отказа.
Глава «MLOps» последний раз правилась . Нашли ошибку — напишите.