Модель учится обращать процесс постепенного зашумления, превращая шум в изображение за серию шагов.
- шум, который мы сами добавили к чистому объекту — известный ответ
- предсказание сети: какой шум содержится в зашумлённом объекте на шаге t
Ключевые тезисы
- Прямой процесс добавляет гауссов шум, обратный — предсказывает и убирает его.
- Обучение устойчивее и покрывает моды распределения лучше.
- Latent diffusion работает в сжатом пространстве, что и сделало Stable Diffusion практичной.
Какую задачу решает
заходит в генерацию с неожиданной стороны: вместо того чтобы порождать объект за один прыжок, она учится убирать шум. Прямой процесс постепенно портит картинку гауссовым шумом за сотни шагов, пока не останется чистый шум; обратный — та же лестница, пройденная в другую сторону.
Выигрыш в том, что каждый отдельный шаг — простая задача регрессии: «предскажи шум, добавленный на этом уровне». Никакой игры двух сетей, никакого неберущегося интеграла — обычный , устойчиво сходящийся спуск. Сложность генерации размазана по сотне лёгких шагов вместо одного тяжёлого, и именно поэтому обучается предсказуемо там, где разваливается.
На каждом шаге модель считает два предсказания шума: с текстовым условием и без него. Итог берётся как . При условие учитывается ровно как есть — картинка разнообразная, но запросу следует вольно. При – (типовое значение) разница усиливается: запрос соблюдается точно. При усиление становится чрезмерным — появляются пересыщенные цвета и артефакты. Это буквально ручка «насколько буквально понимать запрос», и стоит она удвоения вычислений на шаг.
Подробный разбор
- нормальное распределение со средним μ и дисперсией σ²
- коэффициент сглаживания (инерции)
- объект: вектор признаков
- число объектов в выборке
- распределение, предсказанное моделью
- коэффициент, задающий вес слагаемого или скорость обновления
- коэффициент сглаживания (инерции)
- малая константа для численной устойчивости
- объект: вектор признаков
- произведение по всем элементам
- математическое ожидание — среднее по распределению
- обучаемые параметры сети
- малая константа для численной устойчивости
- объект: вектор признаков
- функция потерь — то, что минимизируется при обучении
- норма — длина вектора
- обучаемые параметры сети
- малая константа для численной устойчивости
- объект: вектор признаков
- Большое — точнее следование , но меньше разнообразия и заметные артефакты.
- Число шагов сэмплирования — компромисс качества и скорости; DDIM и другие солверы сокращают его с 1000 до 20–50.
- Latent diffusion делает всё это в сжатом пространстве , что и позволило запускать модели на обычных видеокартах.
Где применяется
- Генерация изображений по текстуStable Diffusion, Midjourney, DALL·E — текущий стандарт индустрии.
- РедактированиеInpainting, outpainting, замена объекта: обратный процесс запускают с частично зашумлённой исходной картинки.
- Управляемая генерацияControlNet добавляет условия — позу, глубину, контуры — не переобучая базовую модель.
- Видео и звукТа же схема с временным измерением: генерация видео и синтез речи.
- НаукаГенерация структур белков и молекул с заданными свойствами.
Плюсы, минусы и альтернативы
Плюсы
- Устойчивое обучение: обычная регрессия вместо состязательной игры.
- Покрывает моды распределения — разнообразие заметно выше, чем у .
- Отличная управляемость: guidance, ControlNet, inpainting встраиваются без .
- Качество масштабируется с вычислениями предсказуемо.
- Число шагов на можно менять, торгуя качество на скорость.
Минусы
- Медленный : десятки или сотни проходов сети вместо одного.
- Дорогое обучение — счёт идёт на тысячи GPU-часов.
- Нет компактного латентного кода объекта: редактирование сложнее, чем в StyleGAN.
- считается лишь приближённо.
- Требует огромных обучающих корпусов, что тянет за собой вопросы прав и лицензий.
Брать, если
- Нужна качественная генерация по текстовому описанию.
- Важны разнообразие и покрытие мод, а не только резкость.
- Нужна тонкая управляемость: маски, позы, контуры, стили.
Не брать, если
- Жёсткий бюджет по — здесь выигрывает или дистиллированная в 1–4 шага.
- Нужно точное — берите нормализующие потоки или авторегрессионную модель.
- Домен узкий и данных мало: StyleGAN обучится быстрее и дешевле.
Чем заменяют
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Генеративные модели
VAE80%
Вариационный автоэнкодер · Глубокое обучениеВероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.
GAN80%
Генеративно-состязательные сети · Глубокое обучениеГенератор и дискриминатор обучаются в игре с нулевой суммой, повышая реалистичность выборок.
Generative Models80%
Генеративные модели · Генеративный ИИМодели, обучающие распределение данных и умеющие порождать новые объекты из него.
Autoregressive Models80%
Авторегрессионные модели · Генеративный ИИПорождают объект по частям, каждый раз предсказывая следующий элемент по предыдущим.
VAE80%
Вариационный автоэнкодер · Генеративный ИИГенерация через непрерывное вероятностное латентное пространство.
GAN80%
GAN · Генеративный ИИСостязательная пара сетей, дающая резкие и реалистичные изображения.
Diffusion80%
Диффузия · Генеративный ИИИтеративное расшумление — текущий стандарт генерации изображений, видео и аудио.
Density Estimation80%
Оценка плотности · Обучение без учителяВосстановление распределения данных: где объекты встречаются часто, а где почти никогда.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Прямой процесс
Постепенное зашумление по расписанию . Обучения не требует: это фиксированная формула.
Разбор ниже: Прямой и обратный процессыОбратный процесс
Сеть предсказывает шум и вычитает его — шаг за шагом от чистого шума к объекту.
Разбор ниже: Прямой и обратный процессыПредсказание шума
Цель обучения : генерация сведена к регрессии.
Разбор ниже: Прямой и обратный процессыРасписание шума
Как быстро растёт зашумление. Линейное, косинусное — влияет и на качество, и на число шагов.
Разбор ниже: Прямой и обратный процессыClassifier-free guidance
Модель учится и с условием, и без; при генерации их выходы экстраполируют, усиливая влияние запроса.
Разбор ниже: Управление генерациейLatent diffusion
не в пикселях, а в сжатом латенте — в 8–64 раза дешевле. Это и сделало метод массовым.
Разбор ниже: Управление генерациейГлава «Глубокое обучение» последний раз правилась . Нашли ошибку — напишите.