Practical ML
Практика ML
Рабочий цикл ML-инженера: сформулировать задачу, построить бейзлайн, настроить, отладить и не сломать всё утечкой.
Problem formulationактуально
Постановка задачиПеревод бизнес-вопроса в ML-задачу с целевой переменной, метрикой и ограничениями.
Baselinesактуально
БейзлайныПростейшее решение, с которым сравнивается всё остальное: константа, правило, логистическая регрессия.
Feature engineeringактуально
Работа с признакамиНа табличных данных грамотные признаки дают больший прирост, чем смена модели.
Feature engineeringактуально
Конструирование признаковиз «Данные»Создание признаков, в которых закономерность становится линейно отделимой или просто более заметной для модели.
Hyperparameter tuningактуально
Настройка гиперпараметровПоиск конфигурации модели по валидационной метрике — последний, а не первый шаг работы.
Grid Searchактуально
Поиск по сеткеПолный перебор всех комбинаций заданных значений гиперпараметров.
Random Searchактуально
Случайный поискСлучайная выборка конфигураций из заданных распределений.
Bayesian Optimizationактуально
Байесовская оптимизацияСтроит модель зависимости метрики от гиперпараметров и выбирает следующую точку осознанно.
Cross-validationактуально
Кросс-валидацияиз «Оценка моделей»Многократное разбиение выборки, дающее оценку качества вместе с её разбросом.
Debugging modelsактуально
Отладка моделейСистематический поиск причины, почему модель не учится или ведёт себя странно.
Overfittingактуально
ПереобучениеМодель запомнила обучающую выборку вместе с шумом: train-метрика отличная, val — плохая.
Underfittingактуально
НедообучениеМодель слишком проста или недоучена: ошибка велика и на train, и на валидации.
Data leakageактуально
Утечка данныхСамая дорогая ошибка в ML: модель отлично работает офлайн и разваливается в проде.
Error analysisактуально
Анализ ошибокиз «Оценка моделей»Ручной разбор случаев, где модель ошибается: почти всегда даёт больше, чем очередной перебор гиперпараметров.
Weak Supervisionновинка
Слабая разметкаПрограммная разметка эвристиками и правилами вместо ручной: быстро, шумно и часто достаточно.
Active Learningактуально
Активное обучениеРазмечать в первую очередь те объекты, которые дадут наибольший прирост качества.
Imbalanced Dataактуально
Дисбаланс классовиз «Данные»Когда положительных объектов 1% или меньше: как обучать, чем мерить и что делать с порогом.
Production MLактуально
ML в продакшенеМодель в проде — это сервис с SLA, мониторингом, версионированием и планом отката.
CI/CD for MLактуально
CI/CD для MLиз «MLOps»Автоматизация проверок и выката: тесты кода, тесты данных, обучение и релиз модели по одной кнопке.
Requirements and SLAактуально
Требования и SLAиз «Системный дизайн ML-сервисов»Числа, которые нужно зафиксировать до архитектуры: задержка, пропускная способность, доступность, стоимость запроса.
6 тем показаны здесь из других глав — они подходят по смыслу и открываются в своей главе.