Модель слишком проста или недоучена: ошибка велика и на train, и на валидации.
Ключевые тезисы
- Увеличьте сложность модели, число эпох или качество .
- Проверьте, не задушена ли модель избыточной .
- Кривые обучения быстро отличают от .
Подробный разбор
- Убедиться, что обучение вообще идёт: потери должны падать.
- Ослабить (уменьшить λ, , dropout).
- Увеличить сложность: глубину дерева, число слоёв, размерность.
- Добавить и взаимодействия — часто это даёт больше, чем сложность модели.
- Учить дольше и с подходящим .
Если после увеличения сложности, и времени обучения качество не растёт, возможно, в данных действительно нет предсказательного сигнала для этой цели. Проверить это можно, обучив заведомо мощную модель без ограничений: если и она не может переобучиться на train, проблема в данных, а не в модели.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Практика ML» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Переобучение и регуляризация
Regularization80%
Регуляризация · Оптимизация обученияЛюбое ограничение сложности модели, снижающее переобучение.
Weight Decay80%
Затухание весов · Оптимизация обученияПостепенное сжатие весов к нулю на каждом шаге оптимизации.
Early Stopping80%
Ранняя остановка · Оптимизация обученияОбучение останавливается, когда валидационная метрика перестала улучшаться.
Overfitting80%
Переобучение · Практика MLМодель запомнила обучающую выборку вместе с шумом: train-метрика отличная, val — плохая.
Variance80%
Дисперсия · Математический справочникМера разброса значений вокруг среднего.
Random Forest80%
Случайный лес · Классическое машинное обучениеБэггинг деревьев со случайными подвыборками объектов и признаков: усреднение резко снижает дисперсию.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Практика ML» последний раз правилась . Нашли ошибку — напишите.