Полный перебор всех комбинаций заданных значений .
Ключевые тезисы
- Прост и воспроизводим, легко параллелится.
- Число комбинаций растёт экспоненциально с числом параметров.
- Тратит бюджет на заведомо неважные параметры.
Подробный разбор
5 значений числа деревьев × 4 глубины × 3 × 3 subsample = 180 комбинаций. При 5-фолдовой это 900 обучений. Если одно длится минуту — 15 часов.
- число объектов в выборке
- произведение по всем элементам
Grid search оправдан, когда параметров два-три и они дискретны. В остальных случаях он тратит бюджет на заведомо неважные измерения.
- Один-два дискретных параметра с небольшим числом значений.
- Финальная «дошлифовка» вокруг найденной случайным поиском точки.
- Требование воспроизводимости в регуляторной среде: сетка полностью детерминирована.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Практика ML» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Подбор гиперпараметров
Hyperparameter tuning80%
Настройка гиперпараметров · Практика MLПоиск конфигурации модели по валидационной метрике — последний, а не первый шаг работы.
Random Search80%
Случайный поиск · Практика MLСлучайная выборка конфигураций из заданных распределений.
Bayesian Optimization80%
Байесовская оптимизация · Практика MLСтроит модель зависимости метрики от гиперпараметров и выбирает следующую точку осознанно.
Cross-validation80%
Кросс-валидация · Оценка моделейМногократное разбиение выборки, дающее оценку качества вместе с её разбросом.
Learning Rate Scheduling80%
Расписание скорости обучения · Оптимизация обученияИзменение шага по ходу обучения: большой в начале для исследования, малый в конце для точной настройки.
Глава «Практика ML» последний раз правилась . Нашли ошибку — напишите.