GAN

Генератор — это обычная нейросеть $G_{\theta }$, которая берёт на вход случайный вектор и выдаёт объект: картинку, спектрограмму, таблицу. Никакой особой математики внутри нет, вся необычность GAN — в том, откуда генератор берёт сигнал для обучения.

Вход $z$ называют латентным вектором, а пространство, из которого он берётся, — латентным пространством. Размерность $d$ обычно 100–512: этого хватает, чтобы закодировать позу, освещение, цвет и прочие факторы вариации. Само распределение берут простое ($\mathcal{N}(0,I)$ или равномерное на сфере) именно потому, что сэмплировать из него тривиально — всю сложность берёт на себя сеть.

Ключевая особенность: генератор ни разу не видит настоящих данных. Он не сравнивает свою картинку с эталоном — эталона нет. Единственный источник информации — градиент, пришедший от дискриминатора через его же выход. Поэтому качество генератора не может быть выше, чем качество критика, который его учит.

• DCGAN: стопка transposed-свёрток, каждая удваивает разрешение — $4\times 4\to 8\times 8\to \cdots \to 64\times 64$. Базовая схема, с которой начинают.
• Progressive growing: обучение стартует на $4\times 4$ и добавляет слои по мере сходимости — так впервые получили честные $1024\times 1024$.
• StyleGAN: $z$ сначала проходит через mapping-сеть в промежуточное пространство $w$, а $w$ управляет нормализацией на каждом уровне. Это и дало раздельный контроль над крупной структурой и мелкой текстурой.

Дискриминатор $D_{\varphi }$ — бинарный классификатор: на вход объект, на выходе вероятность того, что объект настоящий. Обучается он как самая обычная сеть, по кросс-энтропии, на смеси реальных примеров (метка 1) и продукции генератора (метка 0).

Вся идея GAN держится на одном сдвиге взгляда: выход дискриминатора — это и есть функция потерь генератора. В обычном обучении метрику качества пишет инженер и она фиксирована; здесь её обучают вместе с моделью, и она подстраивается под текущие слабости генератора. Как только генератор перестаёт делать одну ошибку, критик находит следующую.

• PatchGAN: критик оценивает не картинку целиком, а каждый её участок $70\times 70$. Меньше параметров и жёстче контроль текстуры — стандарт для pix2pix и CycleGAN.
• Спектральная нормализация: делит веса каждого слоя на его старшее сингулярное число, ограничивая константу Липшица. Самый дешёвый способ не дать критику стать слишком сильным.
• Label smoothing: настоящим объектам ставят метку 0.9 вместо 1.0 — критик перестаёт быть слишком уверенным и отдаёт генератору более информативный градиент.

Один и тот же функционал дискриминатор максимизирует, а генератор минимизирует. Это не минимизация функции, а поиск седловой точки, и отсюда все практические сложности: у обычной оптимизации есть монотонно убывающий лосс, у GAN его нет в принципе.

Если зафиксировать генератор, оптимального критика можно выписать явно — это отношение плотностей:

Подставив $D^{\ast }$ обратно, получаем, что генератор минимизирует расхождение Дженсена — Шеннона между своим распределением и настоящим: $2\mathrm{JSD}(p_{\text{data}}\Vert p_g)-\log 4$. Минимум достигается при $p_g=p_{\text{data}}$, и тогда $D^{\ast }\equiv 1/2$ — критик перестаёт отличать одно от другого. Именно поэтому падение точности дискриминатора к 50% считают признаком успеха.

На практике исходную формулу для генератора не используют: в начале обучения подделки очевидны, $D(G(z))\approx 0$, и $\log (1-D(G(z)))$ выходит на плато с почти нулевым градиентом. Вместо минимизации берут non-saturating-вариант — максимизацию:

Одна итерация — это два независимых обновления, каждое со своим оптимизатором. Порядок важен: сначала критик получает шанс поймать текущие подделки, потом генератор пытается его обмануть.

for real in loader:
    # --- 1. дискриминатор: учимся отличать ---
    z = torch.randn(real.size(0), z_dim, device=dev)
    fake = G(z)

    d_real = D(real)
    d_fake = D(fake.detach())          # detach: градиент в G не идёт
    loss_D = bce(d_real, ones) + bce(d_fake, zeros)

    opt_D.zero_grad(); loss_D.backward(); opt_D.step()

    # --- 2. генератор: учимся обманывать ---
    d_fake = D(fake)                   # тот же fake, но уже без detach
    loss_G = bce(d_fake, ones)         # non-saturating: хотим D(G(z)) -> 1

    opt_G.zero_grad(); loss_G.backward(); opt_G.step()

1. fake.detach() в шаге дискриминатора — самая частая ошибка новичка. Без него градиент критика утечёт в генератор и обучение развалится.
2. В шаге генератора метка стоит 1, хотя объект поддельный: генератор буквально просит критика ошибиться.
3. Веса дискриминатора на втором шаге не обновляются — работает только opt_G, хотя градиент проходит сквозь всю связку $D(G(z))$.
4. Two-timescale (TTUR): критику дают скорость обучения выше, чем генератору (например, $2\cdot 10^{-4}$ против $10^{-4}$) — это заметно стабилизирует игру.

• Mode collapse: генератор находит несколько образцов, надёжно обманывающих критика, и выдаёт только их вариации. Картинки при этом отличные — теряется именно разнообразие, и по глазу это видно не сразу.
• Дисбаланс сил: слишком сильный дискриминатор насыщает лосс и оставляет генератор без градиента; слишком слабый — пропускает мусор.
• Осцилляции: обновления двух игроков раскачивают друг друга, и точка равновесия обходится по кругу вместо того, чтобы достигаться.

Стандартный набор лечения — не один приём, а связка: Wasserstein-лосс с gradient penalty меняет саму меру расхождения на более гладкую, спектральная нормализация ограничивает критика по Липшицу, TTUR разводит скорости обучения, прогрессивное обучение снимает нагрузку с ранних итераций.

Общая логика развития: сначала чинили архитектуру (DCGAN), потом меру расхождения (WGAN), потом ограничение на критика (спектральная нормализация), потом устройство латентного пространства (StyleGAN). Каждый шаг лечил свой источник нестабильности, и по отдельности эти приёмы совместимы.

У генерации нет правильного ответа, поэтому качество меряют не по объектам, а по распределениям: берут признаки предобученной сети (обычно Inception) для 10–50 тысяч настоящих и стольких же сгенерированных объектов и сравнивают их статистики.

• FID ловит и качество, и разнообразие сразу, но одним числом — по нему не понять, что именно сломалось.
• Precision / Recall для генеративных моделей разделяют эти две вещи: precision — доля реалистичных сэмплов, recall — доля покрытых мод. Mode collapse виден как провал recall при высоком precision.
• Inception Score сегодня почти не используют: он не сравнивается с реальными данными и легко обманывается.
• Человеческая оценка остаётся арбитром: попарные сравнения «какая картинка реалистичнее» ловят артефакты, которые метрики пропускают.