Генератор и дискриминатор обучаются в игре с нулевой суммой, повышая реалистичность выборок.
Ключевые тезисы
- Дискриминатор задаёт обучаемую функцию потерь вместо фиксированной метрики.
- Типичные проблемы: mode collapse и неустойчивость обучения.
- WGAN, спектральная нормализация и StyleGAN стабилизировали процесс.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Игра генератора и дискриминатора
Обучаемая функция потерь вместо фиксированной.
- математическое ожидание — среднее по распределению
- объект: вектор признаков
- вероятность (или плотность распределения)
- логарифм: превращает произведения в суммы и сжимает масштаб
Дискриминатор учится отличать настоящее от сгенерированного, генератор — обманывать дискриминатора. Ключевая идея: критерий качества не задан вручную, а обучается вместе с моделью — поэтому картинки получаются резкими.
2Mode collapse и стабилизация
Почему GAN сложно обучать.
- Mode collapse: генератор находит один удачный образец и выдаёт его вариации, теряя разнообразие.
- Дисбаланс: слишком сильный дискриминатор не даёт генератору полезного градиента.
- Решения: Wasserstein loss с gradient penalty, спектральная нормализация, two-timescale обновления, прогрессивное обучение.
Оценивать GAN по значению функции потерь бессмысленно — она ничего не говорит о качестве. Используют FID (сравнение статистик признаков) и человеческую оценку.
Связанные темы
Генеративные модели
VAE80%
Вариационный автоэнкодер · Глубокое обучениеВероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.
Diffusion Models80%
Диффузионные модели · Глубокое обучениеМодель учится обращать процесс постепенного зашумления, превращая шум в изображение за серию шагов.
Generative Models80%
Генеративные модели · Генеративный ИИМодели, обучающие распределение данных и умеющие порождать новые объекты из него.
Autoregressive Models80%
Авторегрессионные модели · Генеративный ИИПорождают объект по частям, каждый раз предсказывая следующий элемент по предыдущим.
VAE80%
Вариационный автоэнкодер · Генеративный ИИГенерация через непрерывное вероятностное латентное пространство.
GAN80%
GAN · Генеративный ИИСостязательная пара сетей, дающая резкие и реалистичные изображения.
Diffusion80%
Диффузия · Генеративный ИИИтеративное расшумление — текущий стандарт генерации изображений, видео и аудио.
Density Estimation80%
Оценка плотности · Обучение без учителяВосстановление распределения данных: где объекты встречаются часто, а где почти никогда.