Итеративное расшумление — текущий стандарт генерации изображений, видео и аудио.
Ключевые тезисы
- Classifier-free guidance управляет силой следования промпту.
- Число шагов сэмплирования — компромисс скорости и качества.
- ControlNet и LoRA дают точный контроль над результатом.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Инструменты контроля
Как получить именно то изображение, которое нужно.
| Инструмент | Что контролирует |
|---|---|
| Guidance scale | силу следования промпту |
| Negative prompt | чего не должно быть на изображении |
| ControlNet | позу, контуры, глубину, разметку |
| LoRA | стиль или конкретный объект |
| Inpainting | перерисовку выбранной области |
| Seed | воспроизводимость результата |
Слишком большой guidance scale (> 12–15) обычно даёт пересыщенные цвета и артефакты. Практичный диапазон — 5–9.
2Солверы и число шагов
Как получить то же качество за 20 шагов вместо 1000.
| Солвер | Шагов | Свойства |
|---|---|---|
| DDPM | 1000 | исходный, медленный |
| DDIM | 20–50 | детерминированный, воспроизводимый |
| DPM-Solver++ | 15–25 | быстрый и качественный |
| Дистилляция (LCM, Turbo) | 1–4 | почти реальное время, небольшая потеря качества |
Обратный процесс — это решение дифференциального уравнения; современные солверы просто делают более крупные и точные шаги по той же траектории.
Связанные темы
Генеративные модели
VAE80%
Вариационный автоэнкодер · Глубокое обучениеВероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.
GAN80%
Генеративно-состязательные сети · Глубокое обучениеГенератор и дискриминатор обучаются в игре с нулевой суммой, повышая реалистичность выборок.
Diffusion Models80%
Диффузионные модели · Глубокое обучениеМодель учится обращать процесс постепенного зашумления, превращая шум в изображение за серию шагов.
Generative Models80%
Генеративные модели · Генеративный ИИМодели, обучающие распределение данных и умеющие порождать новые объекты из него.
Autoregressive Models80%
Авторегрессионные модели · Генеративный ИИПорождают объект по частям, каждый раз предсказывая следующий элемент по предыдущим.
VAE80%
Вариационный автоэнкодер · Генеративный ИИГенерация через непрерывное вероятностное латентное пространство.
GAN80%
GAN · Генеративный ИИСостязательная пара сетей, дающая резкие и реалистичные изображения.
Density Estimation80%
Оценка плотности · Обучение без учителяВосстановление распределения данных: где объекты встречаются часто, а где почти никогда.