Формализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.
Ключевые тезисы
- и для регрессии, для классификации, Huber как компромисс.
- Focal loss и веса классов борются с сильным дисбалансом.
- Контрастные потери (InfoNCE, triplet) учат пространство представлений, а не метку.
Какую задачу решает
— это перевод задачи бизнеса на язык, понятный градиентному спуску. Она отвечает на вопрос «насколько плохо», причём так, чтобы ответ был дифференцируем и чтобы его минимум совпадал с тем, что вам действительно нужно.
Разрыв между лоссом и целью — источник большинства тихих провалов. Метрика качества (, , доход) обычно недифференцируема, поэтому оптимизируют суррогат. Чем дальше суррогат от метрики, тем чаще модель с лучшим лоссом оказывается хуже по делу.
Пусть по одному входу одинаково правдоподобны два ответа: чёрный квадрат и белый квадрат. минимизируется не одним из них, а их средним — серым квадратом, которого в данных не было никогда. Это и есть механика размытия у и регрессионного апскейла: модель честно выдаёт среднее по всем правдоподобным вариантам. Лечится сменой лосса на такой, который штрафует нереалистичность, а не отклонение: состязательный, перцептивный или предсказание распределения вместо точки.
Подробный разбор
| Задача | Потери | Комментарий |
|---|---|---|
| Регрессия | / / Huber | устойчивее к выбросам |
| Бинарная классификация | BCE () | используйте версию с логитами |
| Многоклассовая | Cross-Entropy | включает внутри |
| Сильный дисбаланс | Focal loss | снижает вклад лёгких примеров |
| Метрическое обучение | Triplet, InfoNCE | учит пространство, а не метку |
- коэффициент, задающий вес слагаемого или скорость обновления
- коэффициент, управляющий вкладом дальних членов
- вероятность (или плотность распределения)
- логарифм: превращает произведения в суммы и сжимает масштаб
При формула вырождается в обычную . Типичное значение : лёгкий пример с получает вес в 100 раз меньше, чем трудный с .
Где применяется
- Классификация; при сильном дисбалансе — с весами классов или focal loss.
- Регрессия, если значимы и их нельзя игнорировать; или Huber, если это шум разметки.
- Метрическое обучениеContrastive и triplet loss учат не метку, а расстояние: похожие объекты ближе, непохожие дальше. База поиска по .
- Dice и IoU-лоссы оптимизируют перекрытие масок напрямую — там, где по пикселям тонет в фоне.
- Составные целиВзвешенная сумма нескольких лоссов (реконструкция + KL в , состязательный + перцептивный в апскейле).
Плюсы, минусы и альтернативы
Плюсы
- Прямой рычаг управления поведением модели: смена лосса меняет приоритеты сильнее, чем смена архитектуры.
- Правильно выбранный даёт калиброванные вероятности бесплатно ().
- Взвешивание и focal loss решают дисбаланс без изменения данных и без потери от ресэмплинга.
- Составные лоссы позволяют совместить несовместимые на первый взгляд требования.
Минусы
- Почти всегда лишь суррогат целевой метрики — лучший не гарантирует лучшую метрику.
- У составных лоссов появляются веса слагаемых: ещё несколько , часто самых капризных.
- тянет предсказание к среднему и на многомодальных задачах даёт размытый бессмысленный ответ.
- Значения лоссов разных моделей несравнимы между собой.
- Ошибка сочетания « + » проявляется как медленное необъяснимое обучение, а не как явная поломка.
Брать, если
- Всегда — вопрос только в том, какой именно; выбор делается вместе с выходной активацией.
- Метрика качества сильно асимметрична (пропуск дороже ложной тревоги) — это надо занести в , а не чинить порогом постфактум.
Не брать, если
- Не изобретайте собственный , пока стандартный не показал конкретную проблему: 95% задач закрываются и .
- Не добавляйте слагаемые «на всякий случай» — каждое приносит вес, который придётся подбирать.
Чем заменяют
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Редкие классы и события · Нейросеть по кирпичикам · Качество регрессии
Imbalanced Data80%
Дисбаланс классов · ДанныеКогда положительных объектов 1% или меньше: как обучать, чем мерить и что делать с порогом.
Isolation Forest80%
Isolation Forest · Классическое машинное обучениеОбнаружение аномалий случайными разбиениями: аномальный объект отделяется от остальных за меньшее число разрезов.
Anomaly Detection80%
Поиск аномалий · Обучение без учителяВыделение объектов, не похожих на основную массу данных, при отсутствии меток.
PR-AUC80%
PR-AUC · МетрикиПлощадь под кривой precision–recall; честнее ROC-AUC при редком положительном классе.
MCC80%
Коэффициент Мэтьюса · МетрикиКорреляция между предсказаниями и истиной, учитывающая все четыре ячейки матрицы ошибок.
Extreme Value Theory80%
Теория экстремальных значений · Теория вероятностей и распределенияАппарат для моделирования максимумов и хвостов: как оценить вероятность события, которого ещё не случалось.
Perceptron80%
Перцептрон · Глубокое обучениеПростейший нейрон: взвешенная сумма входов и пороговая функция. Исторический старт всей области.
MLP80%
Многослойный перцептрон · Глубокое обучениеНесколько полносвязных слоёв с нелинейностями — универсальный аппроксиматор функций.
Activation functions80%
Функции активации · Глубокое обучениеНелинейности между слоями, без которых сеть не сложнее линейной модели.
Backpropagation80%
Обратное распространение ошибки · Глубокое обучениеЭффективное вычисление градиентов по всем параметрам сети за один обратный проход с помощью правила цепочки.
Optimizers80%
Оптимизаторы · Глубокое обучениеПравила обновления весов по градиенту: от чистого SGD до адаптивных методов.
Logistic Regression80%
Логистическая регрессия · Классическое машинное обучениеЛинейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.
MAE80%
Средняя абсолютная ошибка · МетрикиСреднее абсолютных отклонений — метрика в единицах целевой переменной, устойчивая к выбросам.
MSE80%
Среднеквадратичная ошибка · МетрикиСреднее квадратов ошибок: сильно штрафует большие отклонения.
RMSE80%
Корень из среднеквадратичной ошибки · МетрикиКорень из MSE — возвращает метрику в исходные единицы, сохраняя штраф за большие ошибки.
MAPE80%
Средняя абсолютная процентная ошибка · МетрикиОтносительная ошибка в процентах — удобна для сравнения рядов разного масштаба.
SMAPE80%
Симметричная MAPE · МетрикиВариант MAPE с нормировкой на сумму факта и прогноза — частично лечит асимметрию.
R²80%
Коэффициент детерминации · МетрикиДоля дисперсии целевой переменной, объяснённая моделью, относительно константного прогноза.
Adjusted R²80%
Скорректированный R² · МетрикиR² со штрафом за число признаков — падает, если новый признак не приносит пользы.
Linear Regression80%
Линейная регрессия · Классическое машинное обучениеПредсказывает число как взвешенную сумму признаков. Самый интерпретируемый бейзлайн и основа для более сложных моделей.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Кросс-энтропия
Стандарт классификации: штрафует уверенную ошибку логарифмически сильно. Даёт калиброванные вероятности.
Разбор ниже: Как выбрать функцию потерьMSE и MAE
Регрессия: наказывает квадратично и тянет предсказание к среднему, — линейно и тянет к медиане.
Разбор ниже: Как выбрать функцию потерьHuber loss
Квадратичная около нуля, линейная на хвостах — компромисс между и , устойчивый к выбросам.
Разбор ниже: Как выбрать функцию потерьFocal loss
Домножает на , гася вклад лёгких примеров. Придуман для , где фона в тысячи раз больше объектов.
Разбор ниже: Дисбаланс и focal lossВзвешивание классов
Умножение слагаемых лосса на вес класса — первое, что пробуют при дисбалансе, дешевле любого ресэмплинга.
Разбор ниже: Дисбаланс и focal lossСуррогатная задача
Оптимизируем дифференцируемое приближение метрики, потому что саму метрику не возьмёшь.
Разбор ниже: Как выбрать функцию потерьСпрашивают на собеседовании: Яндекс — ASR / TTS, Сбер — Речевые технологии.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Глубокое обучение» последний раз правилась . Нашли ошибку — напишите.