КабинетПоиск
Генеративный ИИ

Generative Models

Генеративные модели

актуальноТекущий рабочий стандарт

Направления: Генеративный ИИ · GAN

Модели, обучающие распределение данных и умеющие порождать новые объекты из него.

Ключевые тезисы

  • Дискриминативные модели учат P(y|x), генеративные — P(x) или P(x,y).
  • Семейства: авторегрессионные, , , диффузионные, flows.
  • Оценка качества генерации — отдельная сложная задача (FID, perplexity, человеческие оценки).

Какую задачу решает

Дискриминативная модель отвечает на вопрос «какой класс у этого объекта» и учит . Генеративная ставит вопрос шире: как вообще устроено распределение данных ? Ответив на него, можно не только классифицировать, но и порождать новые объекты, оценивать и обнаруживать .

Задача сложнее ровно настолько, насколько богаче, чем граница между классами. Все практические семейства — авторегрессионные модели, , , , нормализующие потоки — это разные способы обойти одну и ту же проблему: честно посчитать для изображения или текста невозможно, поэтому каждое семейство чем-то жертвует.

Почему генеративная задача труднее

Чтобы отличить кошку от собаки, достаточно заметить форму ушей — модель может игнорировать 99% содержимого картинки. Чтобы нарисовать кошку, нужно знать всё: анатомию, шерсть, освещение, тени, фон и то, как они согласуются между собой. Отсюда и разрыв в требованиях: классификатор кошек обучается на тысячах картинок и умещается в десяток мегабайт, кошек требует миллионов примеров и миллиардов параметров.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

СемействоСкорость генерацииКачество
Авторегрессионныеточноемедленно (по )очень высокое
нижняя оценкабыстроразмыто
неточень быстрорезко, но нестабильно
оценкамедленно (много шагов)высокое и разнообразное
Normalizing flowsточноебыстросреднее

Дискриминативная модель учит границу , генеративная — само распределение данных . Второе намного сложнее, но позволяет порождать новые объекты и оценивать, насколько объект типичен.

МодальностьМетрики
ИзображенияFID, KID, CLIPScore, человеческая оценка
Текст, win-rate против эталона, LLM-as-judge
АудиоFAD, MOS
На практике

FID сравнивает статистики реальных и сгенерированных изображений. Он чувствителен к размеру выборки и к используемой сети признаков — сравнивать значения между статьями почти всегда некорректно.

Где применяется

  • Порождение контентаТекст, изображения, звук, видео, код — самое видимое применение.
  • Дополнение редких классов и обход ограничений на использование персональных данных.
  • Модели с явным правдоподобием отмечают объекты с низким как подозрительные.
  • данныхЗаполнение пропусков, шумоподавление, сверхразрешение — всё это условная генерация.
  • Обучение представленийЧтобы порождать данные, модель обязана выучить их структуру; эти полезны и для других задач.

Плюсы, минусы и альтернативы

Плюсы

  • Одна модель закрывает генерацию, , детекцию и представления.
  • Обучение не требует меток — данных доступно на порядки больше.
  • Модель распределения переносится на смежные задачи, где дискриминативную пришлось бы учить заново.

Минусы

  • Учить существенно труднее, чем границу классов: нужно больше данных и вычислений.
  • Оценка качества — отдельная нерешённая проблема: одного числа не хватает.
  • Модели галлюцинируют: правдоподобный по форме результат может быть неверным по сути.
  • Смещения обучающих данных воспроизводятся и усиливаются.
  • Юридические вопросы вокруг источников обучающих корпусов.

Брать, если

  • Нужно порождать объекты, а не только их классифицировать.
  • Меток нет, но есть много сырых данных.
  • Нужна оценка «насколько объект типичен» для .

Не брать, если

  • Задача чисто дискриминативная и метки есть — генеративная модель будет тратить силы на ненужное.
  • Ошибка стоит дорого, а проверить результат нечем: неустранимы.

Чем заменяют

Generative LossesактуальноФункции потерь генеративных моделей · Генеративный ИИНужно понять, чем именно измеряется ошибка, когда правильного ответа не существует.Density EstimationактуальноОценка плотности · Обучение без учителяНужна именно плотность распределения, а не порождение объектов.

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «Генеративный ИИ» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.

Курс: Обучение с подкреплением11 записейКурс: Генеративные модели26 записей

Связанные темы

Генеративные модели

VAE80%

Вариационный автоэнкодер · Глубокое обучение

Вероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.

GAN80%

Генеративно-состязательные сети · Глубокое обучение

Генератор и дискриминатор обучаются в игре с нулевой суммой, повышая реалистичность выборок.

Diffusion Models80%

Диффузионные модели · Глубокое обучение

Модель учится обращать процесс постепенного зашумления, превращая шум в изображение за серию шагов.

Autoregressive Models80%

Авторегрессионные модели · Генеративный ИИ

Порождают объект по частям, каждый раз предсказывая следующий элемент по предыдущим.

VAE80%

Вариационный автоэнкодер · Генеративный ИИ

Генерация через непрерывное вероятностное латентное пространство.

GAN80%

GAN · Генеративный ИИ

Состязательная пара сетей, дающая резкие и реалистичные изображения.

Diffusion80%

Диффузия · Генеративный ИИ

Итеративное расшумление — текущий стандарт генерации изображений, видео и аудио.

Density Estimation80%

Оценка плотности · Обучение без учителя

Восстановление распределения данных: где объекты встречаются часто, а где почти никогда.

Следующий шагДальше по связи: VAEВероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.Перейти →
Autoregressive Models →

Глава «Генеративный ИИ» последний раз правилась . Нашли ошибку — напишите.