Модель слишком проста или недоучена: ошибка велика и на train, и на валидации.
Ключевые тезисы
- Увеличьте сложность модели, число эпох или качество признаков.
- Проверьте, не задушена ли модель избыточной регуляризацией.
- Кривые обучения быстро отличают недообучение от переобучения.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Как лечить недообучение
Порядок действий от дешёвых к дорогим.
- Убедиться, что обучение вообще идёт: потери должны падать.
- Ослабить регуляризацию (уменьшить λ, weight decay, dropout).
- Увеличить сложность: глубину дерева, число слоёв, размерность.
- Добавить признаки и взаимодействия — часто это даёт больше, чем сложность модели.
- Учить дольше и с подходящим learning rate.
2Как отличить от плохих данных
Иногда сигнала просто нет.
Если после увеличения сложности, признаков и времени обучения качество не растёт, возможно, в данных действительно нет предсказательного сигнала для этой цели. Проверить это можно, обучив заведомо мощную модель без ограничений: если и она не может переобучиться на train, проблема в данных, а не в модели.
Связанные темы
Переобучение и регуляризация
Regularization80%
Регуляризация · Оптимизация обученияЛюбое ограничение сложности модели, снижающее переобучение.
Weight Decay80%
Затухание весов · Оптимизация обученияПостепенное сжатие весов к нулю на каждом шаге оптимизации.
Early Stopping80%
Ранняя остановка · Оптимизация обученияОбучение останавливается, когда валидационная метрика перестала улучшаться.
Overfitting80%
Переобучение · Практика MLМодель запомнила обучающую выборку вместе с шумом: train-метрика отличная, val — плохая.
Variance80%
Дисперсия · Математический справочникМера разброса значений вокруг среднего.
Random Forest80%
Случайный лес · Классическое машинное обучениеБэггинг деревьев со случайными подвыборками объектов и признаков: усреднение резко снижает дисперсию.