Случайная выборка конфигураций из заданных распределений.
Ключевые тезисы
- При равном бюджете обычно лучше сетки: важные параметры покрываются плотнее.
- Легко останавливается в любой .
- Логарифмические шкалы для lr и обязательны.
Подробный разбор
Если из четырёх параметров реально важен один, сетка 5×5×5×5 проверит всего 5 разных значений важного параметра. Случайный поиск из 100 точек даст 100 различных значений по каждому измерению.
from scipy.stats import loguniform, randint
space = {
"learning_rate": loguniform(1e-3, 3e-1), # логарифмическая шкала!
"num_leaves": randint(15, 255),
"min_child_samples": randint(5, 200),
"subsample": [0.6, 0.8, 1.0],
}| Параметр | Распределение | Диапазон |
|---|---|---|
| learning_rate | логравномерное | – |
| λ / C | логравномерное | – |
| глубина, число листьев | равномерное целое | 3–12 / 15–255 |
| subsample, colsample | равномерное | 0.6–1.0 |
Задавать lr равномерно на — почти гарантированно потратить 90% запусков на слишком большие значения.
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Подбор гиперпараметров · Перебор конфигураций
Hyperparameter tuning96%
Настройка гиперпараметров · Практика MLПоиск конфигурации модели по валидационной метрике — последний, а не первый шаг работы.
Bayesian Optimization96%
Байесовская оптимизация · Практика MLСтроит модель зависимости метрики от гиперпараметров и выбирает следующую точку осознанно.
Cross-validation96%
Кросс-валидация · Оценка моделейМногократное разбиение выборки, дающее оценку качества вместе с её разбросом.
Grid Search80%
Поиск по сетке · Практика MLПолный перебор всех комбинаций заданных значений гиперпараметров.
Learning Rate Scheduling80%
Расписание скорости обучения · Оптимизация обученияИзменение шага по ходу обучения: большой в начале для исследования, малый в конце для точной настройки.
Distributed Hyperparameter Search80%
Распределённый подбор гиперпараметров · Вычислительная инфраструктураДесятки обучений на кластере вместо одного: пространство поиска, параллельные trials, ранняя остановка безнадёжных.
Experiment Tracking80%
Трекинг экспериментов · MLOpsФиксация параметров, метрик, артефактов и версии кода для каждого запуска.
Глава «Практика ML» последний раз правилась . Нашли ошибку — напишите.