КабинетПоиск
Оптимизация обучения

Regularization

Регуляризация

актуальноТекущий рабочий стандарт

Направления: Глубокое обучение · Оптимизация

Любое ограничение сложности модели, снижающее .

Ключевые тезисы

  • обнуляет коэффициенты и отбирает , L2 их равномерно сжимает.
  • случайно отключает нейроны, имитируя .
  • данных — самая мощная форма .

Какую задачу решает

Модель с достаточным числом параметров способна запомнить обучающую выборку целиком, включая её шум. На обучении метрика будет отличной, на новых данных — никакой. ограничивает эту способность: она добавляет к цели обучения давление в сторону более простых решений.

Способов много, и они работают по-разному. сдерживает величину весов, обнуляет часть из них, не даёт нейронам полагаться друг на друга, не даёт дообучиться до запоминания, расширяет данные. Все они разменивают немного смещения на заметное снижение — и почти всегда этот размен выгоден.

Как выбрать между $L_1$ и $L_2$

при двух одинаково полезных коррелированных распределит вес между ними поровну; оставит один и обнулит другой — какой именно, зависит от случайностей выборки. Отсюда практическое правило: нужен и разреженная модель — ; нужна устойчивость и все осмысленны — ; не знаете — берите ElasticNet, комбинацию обоих, и подберите их соотношение по валидации. И помните, что перед любой из них обязаны быть нормализованы: штраф зависит от масштаба веса, а тот — от масштаба признака.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Обозначения
  • сила регуляризации: штраф за сложность модели
  • веса модели — то, что подбирается при обучении
  • функция потерь — то, что минимизируется при обучении
  • суммирование по всем перечисленным элементам

Ограничение задаёт ромб с углами на осях, а — круг. Линии уровня чаще касаются ромба именно в углу, где часть координат равна нулю — отсюда разреженность решения Lasso.

-202-303xy
λ1.0e-4
‖w‖₂4.054
нулевых коэффициентов0 из 9
Тип
Переключите L1/L2 и увеличьте λ: у Lasso растёт число нулевых коэффициентов, у Ridge — нет

  • Dropout: во время обучения каждый нейрон отключается с вероятностью ; сеть вынуждена не полагаться на отдельные . На выключается.
  • Аугментация данных — самый сильный метод в CV и аудио: модель видит новые варианты одного и того же объекта.
  • Label smoothing: вместо цели 1.0 используют 0.9 — модель перестаёт быть переуверенной.
  • Early stopping — по времени обучения.
  • Ансамблирование — усреднение снижает разброс.
На практике

Порядок действий при : сначала больше данных и , затем более простая модель, затем / , и только потом тонкая настройка коэффициентов.

Где применяется

  • больше, чем наблюденийБез решение неустойчиво или не единственно.
  • Глубокие сети, и входят в стандартный набор.
  • обнуляет неинформативные автоматически.
  • Мультиколлинеарность распределяет вклад между коррелированными признаками и стабилизирует коэффициенты.

Плюсы, минусы и альтернативы

Плюсы

  • Прямо улучшает обобщающую способность.
  • Стабилизирует решение при коррелированных .
  • даёт бесплатно, вместе с обучением.
  • Дёшево: чаще всего один .

Минусы

  • Силу нужно подбирать по валидации.
  • Слишком сильная недообучает модель.
  • при коррелированных произвольно выбирает один из них.
  • взаимодействует с неочевидным образом.

Брать, если

  • Разрыв между обучающей и валидационной метрикой заметен — это прямое показание.
  • много относительно числа наблюдений.
  • скоррелированы.

Не брать, если

  • Модель (плоха и на обучении, и на валидации) — только ухудшит.
  • Данных очень много относительно размера модели: и так не наступает.

Чем заменяют

Weight DecayактуальноЗатухание весов · Оптимизация обученияРечь о нейросетях: там та же идея реализуется через .Early StoppingактуальноРанняя остановка · Оптимизация обученияНужна без подбора коэффициента.OverfittingактуальноПереобучение · Практика MLНужен разбор самой проблемы и всех способов с ней бороться.
Тема также относится к главам:Классическое машинное обучениеЛинейные модели · Функции потерьГлубокое обучениеОбучение

Видеолекции

Записи университетских курсов, где эта тема звучит. Где у записи есть тайм-коды, ссылка открывает её с нужной секунды; где их не проставили — с начала.

1:26:37Минималистичные подходы: TD3 + Behavioral RegularizationОбучение с подкреплением · Лекция «Offline Reinforcement Learning» · 2 ч 50 мин2:10:41Регуляризация с помощью confidenceКомпьютерное зрение 3D · Лекция «Оценка глубины изображений» · 2 ч 54 мин1:04:06Отсутствие maxpooling, dropout и batchnorm в DQNОбучение с подкреплением · Лекция «Deep Q-Networks (DQN)» · 3 ч 6 минс началаLinear, BachNorm, Dropout. PytorchГлубокое обучение · Лекция · 3 ч 3 мин

Связанные темы

Переобучение и регуляризация

Weight Decay80%

Затухание весов · Оптимизация обучения

Постепенное сжатие весов к нулю на каждом шаге оптимизации.

Early Stopping80%

Ранняя остановка · Оптимизация обучения

Обучение останавливается, когда валидационная метрика перестала улучшаться.

Overfitting80%

Переобучение · Практика ML

Модель запомнила обучающую выборку вместе с шумом: train-метрика отличная, val — плохая.

Underfitting80%

Недообучение · Практика ML

Модель слишком проста или недоучена: ошибка велика и на train, и на валидации.

Variance80%

Дисперсия · Математический справочник

Мера разброса значений вокруг среднего.

Random Forest80%

Случайный лес · Классическое машинное обучение

Бэггинг деревьев со случайными подвыборками объектов и признаков: усреднение резко снижает дисперсию.

Кому эта тема нужна

Профильная компетенция для ролей: Data Scientist, Аналитик данных.

Усиливает профиль: Исследователь.

Добавить в учебную программу
Проверить себя

Тема встречается в тестах по направлениям — ошибки приведут обратно на эту страницу.

Тест: Классический ML24Тест: Глубокое обучение24
Следующий шагПроверить себя: Классический MLТема встречается в этом тесте 2 раза. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →
← Batch sizeWeight Decay →

Глава «Оптимизация обучения» последний раз правилась . Нашли ошибку — напишите.