Генерация через непрерывное вероятностное латентное пространство.
Ключевые тезисы
- Изображения размыты по сравнению с и диффузией.
- Отличный компонент внутри других систем — например, в latent diffusion.
- Латентное пространство удобно для интерполяции и редактирования.
Подробный разбор
Stable Diffusion работает не с пикселями, а с латентным представлением 64×64 вместо 512×512. Это снижает вычислительную стоимость примерно в 64 раза — именно поэтому модель запускается на потребительских видеокартах.
- VQ-VAE использует дискретный словарь кодов — мост между непрерывными данными и авторегрессионными моделями.
- Латентное пространство удобно для редактирования: направления в нём соответствуют осмысленным изменениям объекта.
VQ-VAE заменяет непрерывный латент ближайшим из обучаемого словаря. Изображение превращается в сетку дискретных кодов — и дальше её можно моделировать так же, как текст: авторегрессионным .
Именно этот приём лежит в основе многих мультимодальных генераторов: единый словарь для текста и изображений позволяет обучать одну модель на обе модальности.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Генеративный ИИ» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Генеративные модели
VAE80%
Вариационный автоэнкодер · Глубокое обучениеВероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.
GAN80%
Генеративно-состязательные сети · Глубокое обучениеГенератор и дискриминатор обучаются в игре с нулевой суммой, повышая реалистичность выборок.
Diffusion Models80%
Диффузионные модели · Глубокое обучениеМодель учится обращать процесс постепенного зашумления, превращая шум в изображение за серию шагов.
Generative Models80%
Генеративные модели · Генеративный ИИМодели, обучающие распределение данных и умеющие порождать новые объекты из него.
Autoregressive Models80%
Авторегрессионные модели · Генеративный ИИПорождают объект по частям, каждый раз предсказывая следующий элемент по предыдущим.
GAN80%
GAN · Генеративный ИИСостязательная пара сетей, дающая резкие и реалистичные изображения.
Diffusion80%
Диффузия · Генеративный ИИИтеративное расшумление — текущий стандарт генерации изображений, видео и аудио.
Density Estimation80%
Оценка плотности · Обучение без учителяВосстановление распределения данных: где объекты встречаются часто, а где почти никогда.
Глава «Генеративный ИИ» последний раз правилась . Нашли ошибку — напишите.