Постепенное сжатие весов к нулю на каждом шаге оптимизации.
Ключевые тезисы
- Эквивалентно L2-регуляризации в классическом .
- В адаптивных методах требует отдельной реализации — см. .
- Обычно не применяется к bias и параметрам .
Подробный разбор
- скорость обучения — длина шага оптимизатора
- сила регуляризации: штраф за сложность модели
- веса модели — то, что подбирается при обучении
В чистом это в точности эквивалентно добавлению к . В адаптивных методах эквивалентность ломается — поэтому и существует .
- Типичные значения: для , – для .
- Не применяется к bias, embedding-таблицам и параметрам .
| Симптом | Вероятная причина |
|---|---|
| train и val ошибки обе высоки | decay слишком велик — модель зажата |
| большой разрыв train/val | decay мал — нужна |
| весов растут без остановки | decay отсутствует или обнулён по ошибке |
Полезно логировать среднюю весов по слоям: она должна выходить на плато. Растущая норма при стабильных потерях — , что не работает.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Оптимизация обучения» разобрана в курсе целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Переобучение и регуляризация
Regularization80%
Регуляризация · Оптимизация обученияЛюбое ограничение сложности модели, снижающее переобучение.
Early Stopping80%
Ранняя остановка · Оптимизация обученияОбучение останавливается, когда валидационная метрика перестала улучшаться.
Overfitting80%
Переобучение · Практика MLМодель запомнила обучающую выборку вместе с шумом: train-метрика отличная, val — плохая.
Underfitting80%
Недообучение · Практика MLМодель слишком проста или недоучена: ошибка велика и на train, и на валидации.
Variance80%
Дисперсия · Математический справочникМера разброса значений вокруг среднего.
Random Forest80%
Случайный лес · Классическое машинное обучениеБэггинг деревьев со случайными подвыборками объектов и признаков: усреднение резко снижает дисперсию.
Глава «Оптимизация обучения» последний раз правилась . Нашли ошибку — напишите.