Итеративное расшумление — текущий стандарт генерации изображений, видео и аудио.
Ключевые тезисы
- Classifier-free guidance управляет силой следования .
- Число шагов сэмплирования — компромисс скорости и качества.
- ControlNet и дают точный контроль над результатом.
Подробный разбор
| Инструмент | Что контролирует |
|---|---|
| Guidance scale | силу следования |
| Negative prompt | чего не должно быть на изображении |
| ControlNet | позу, контуры, глубину, разметку |
| стиль или конкретный объект | |
| Inpainting | перерисовку выбранной области |
| Seed | воспроизводимость результата |
Слишком большой guidance scale (> 12–15) обычно даёт пересыщенные цвета и артефакты. Практичный диапазон — 5–9.
| Солвер | Шагов | Свойства |
|---|---|---|
| DDPM | 1000 | исходный, медленный |
| DDIM | 20–50 | детерминированный, воспроизводимый |
| DPM-Solver++ | 15–25 | быстрый и качественный |
| (LCM, Turbo) | 1–4 | почти реальное время, небольшая потеря качества |
Обратный процесс — это решение дифференциального уравнения; современные солверы просто делают более крупные и точные шаги по той же траектории.
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Нейронный рендеринг · Генеративные модели · Управляемая генерация
Neural Radiance Fields85%
Нейронные поля яркости · Трёхмерное зрениеСцена задаётся не сеткой и не точками, а нейросетью: по координате и направлению взгляда она возвращает цвет и плотность. Картинка получается объёмным рендерингом вдоль луча.
3D Gaussian Splatting85%
Гауссовы сплаты · Трёхмерное зрениеСцена — это миллионы трёхмерных гауссиан с цветом и прозрачностью. Их проекция на экран считается напрямую, поэтому рендеринг идёт в реальном времени.
Rendering85%
Рендеринг · Трёхмерное зрениеОбратная зрению задача: по описанию сцены получить изображение. Понимание рендеринга нужно, чтобы обучать модели через сравнение отрисованного с настоящим.
Structure from Motion85%
Восстановление структуры по движению · Трёхмерное зрениеПо набору неупорядоченных снимков одновременно находим положения камер и трёхмерные точки сцены. Классическая основа фотограмметрии и вход почти любого 3D-пайплайна.
Parametric Body Models85%
Параметрические модели тела · Трёхмерное зрениеТело человека описывается десятком чисел формы и позой суставов. Модель превращает их в трёхмерную сетку — это резко сужает пространство поиска при восстановлении по фото.
VAE80%
Вариационный автоэнкодер · Глубокое обучениеВероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.
GAN80%
Генеративно-состязательные сети · Глубокое обучениеГенератор и дискриминатор обучаются в игре с нулевой суммой, повышая реалистичность выборок.
Diffusion Models80%
Диффузионные модели · Глубокое обучениеМодель учится обращать процесс постепенного зашумления, превращая шум в изображение за серию шагов.
Generative Models80%
Генеративные модели · Генеративный ИИМодели, обучающие распределение данных и умеющие порождать новые объекты из него.
Autoregressive Models80%
Авторегрессионные модели · Генеративный ИИПорождают объект по частям, каждый раз предсказывая следующий элемент по предыдущим.
VAE80%
Вариационный автоэнкодер · Генеративный ИИГенерация через непрерывное вероятностное латентное пространство.
GAN80%
GAN · Генеративный ИИСостязательная пара сетей, дающая резкие и реалистичные изображения.
Density Estimation80%
Оценка плотности · Обучение без учителяВосстановление распределения данных: где объекты встречаются часто, а где почти никогда.
Latent Diffusion80%
Латентная диффузия · Генеративный ИИДиффузия не в пикселях, а в сжатом пространстве автоэнкодера: та же модель на порядок дешевле.
ControlNet80%
Управляемая генерация · Генеративный ИИДополнительная сеть, которая задаёт генерации пространственную структуру: эскиз, позу, карту глубины, границы.
Diffusion Sampling80%
Сэмплеры диффузии · Генеративный ИИЧисло шагов денойзинга — главный рычаг скорости; решает его не переобучение, а более точный численный метод.
Video Generation80%
Генерация видео · Генеративный ИИК качеству каждого кадра добавляется временная согласованность: объекты не должны мерцать и менять форму между кадрами.
Structured Output80%
Структурированный вывод · Генеративный ИИКак получить от языковой модели JSON, который распарсится с первого раза, а не текст с комментариями вокруг.
Prompting80%
Промптинг · Генеративный ИИУправление поведением модели через формулировку запроса, без изменения весов.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Генеративный ИИ» последний раз правилась . Нашли ошибку — напишите.