Чем измеряется ошибка, когда правильного ответа не существует: , состязательные потери, предсказание шума и контрастные цели.
Ключевые тезисы
- Авторегрессионные модели минимизируют — ту же, что и обычная классификация, только по .
- У сама обучается: её роль играет дискриминатор.
- сводит генерацию к регрессии: предсказать добавленный шум.
Подробный разбор
| Модель | Что минимизируется | |
|---|---|---|
| Авторегрессионная () | по | отрицательное лог-правдоподобие |
| реконструкция + KL (ELBO) | нижняя оценка | |
| состязательная (обучаемая) | расхождение распределений через | |
| по шуму | ошибка предсказания добавленного шума | |
| Контрастная (CLIP) | InfoNCE | близость правильных пар против остальных |
На практике
Общий знаменатель: все они так или иначе приближают распределение данных. Разница в том, как это расхождение измеряется — явно () или через вспомогательную модель ().
- Низкая не гарантирует полезного ответа: модель может быть уверенной и бесполезной.
- Значение потерь вообще не связано с качеством картинок — нужны FID и человеческая оценка.
- Пиксельная у даёт размытость: она усредняет все правдоподобные варианты.
- Поэтому в генеративных задачах всегда нужна вторая, внешняя метрика качества.
MSE4.00
MAE2.00
Huber1.50
Тема также относится к главам:Глубокое обучениеФункции потерь · Генеративные архитектуры
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Генеративный ИИ» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Собрать учебную программуГлава «Генеративный ИИ» последний раз правилась . Нашли ошибку — напишите.