Число шагов денойзинга — главный рычаг скорости; решает его не , а более точный численный метод.
Ключевые тезисы
- Обратный процесс — это решение дифференциального уравнения; DDIM, DPM-Solver и UniPC решают его точнее за меньшее число шагов.
- Переход с 1000 шагов DDPM на 20–30 шагов DPM-Solver ускоряет генерацию на два порядка без сети.
- шагов (consistency models, LCM) идёт дальше и требует обучения, зато доводит генерацию до 1–4 шагов.
Подробный разбор
Денойзинг эквивалентен решению дифференциального уравнения по времени от шума к изображению. DDPM решает его самым грубым способом — маленькими шагами, отсюда и тысяча итераций. Более точные численные схемы дают тот же результат за десятки шагов, и сеть при этом не меняется: заменяется только сэмплер.
| Сэмплер | Типичное число шагов | Комментарий |
|---|---|---|
| DDPM | 1000 | исходный, стохастический |
| DDIM | 50–100 | детерминированный, допускает интерполяцию латентов |
| DPM-Solver++ | 20–30 | многошаговая схема высокого порядка, стандарт по умолчанию |
| UniPC | 10–20 | предиктор-корректор, ещё агрессивнее |
| LCM / consistency | 1–4 | требует , то есть обучения |
Смена сэмплера бесплатна и обратима — это первое, что стоит попробовать при жалобах на скорость. шагов даёт больше, но это уже обучение со своим риском потери качества и разнообразия.
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Управляемая генерация
Latent Diffusion80%
Латентная диффузия · Генеративный ИИДиффузия не в пикселях, а в сжатом пространстве автоэнкодера: та же модель на порядок дешевле.
ControlNet80%
Управляемая генерация · Генеративный ИИДополнительная сеть, которая задаёт генерации пространственную структуру: эскиз, позу, карту глубины, границы.
Video Generation80%
Генерация видео · Генеративный ИИК качеству каждого кадра добавляется временная согласованность: объекты не должны мерцать и менять форму между кадрами.
Diffusion80%
Диффузия · Генеративный ИИИтеративное расшумление — текущий стандарт генерации изображений, видео и аудио.
Structured Output80%
Структурированный вывод · Генеративный ИИКак получить от языковой модели JSON, который распарсится с первого раза, а не текст с комментариями вокруг.
Prompting80%
Промптинг · Генеративный ИИУправление поведением модели через формулировку запроса, без изменения весов.
Глава «Генеративный ИИ» последний раз правилась . Нашли ошибку — напишите.