Дополнительная сеть, которая задаёт генерации пространственную структуру: эскиз, позу, карту глубины, границы.
Ключевые тезисы
- Копия энкодера диффузионной модели обучается на условии, а базовые веса остаются замороженными.
- Соединения через zero-convolution: в начале обучения управляющая ветка не влияет на результат и не ломает базовую модель.
- Одна базовая модель + набор ControlNet-ов покрывает разные типы условий без основной сети.
Подробный разбор
- Веса энкодера диффузионной U-Net копируются; оригинал замораживается.
- Копия получает на вход управляющую карту: контуры Canny, карту глубины, скелет позы, , эскиз.
- Выходы копии складываются с признаками базовой сети через zero-convolution — , инициализированные нулями.
- В начале обучения вклад управляющей ветки равен нулю, поэтому базовая модель не деградирует ни на первом шаге, ни при малом датасете.
| Условие | Что задаёт |
|---|---|
| Canny / scribble | контуры и композицию |
| Depth | объёмную структуру сцены |
| OpenPose | позу человека |
| Segmentation | расположение объектов по классам |
отвечает за содержание и стиль, ControlNet — за геометрию. Их и разделяют: одна базовая модель плюс набор управляющих сетей покрывает разные типы условий без основной модели.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Генеративный ИИ» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Управляемая генерация
Latent Diffusion80%
Латентная диффузия · Генеративный ИИДиффузия не в пикселях, а в сжатом пространстве автоэнкодера: та же модель на порядок дешевле.
Diffusion Sampling80%
Сэмплеры диффузии · Генеративный ИИЧисло шагов денойзинга — главный рычаг скорости; решает его не переобучение, а более точный численный метод.
Video Generation80%
Генерация видео · Генеративный ИИК качеству каждого кадра добавляется временная согласованность: объекты не должны мерцать и менять форму между кадрами.
Diffusion80%
Диффузия · Генеративный ИИИтеративное расшумление — текущий стандарт генерации изображений, видео и аудио.
Structured Output80%
Структурированный вывод · Генеративный ИИКак получить от языковой модели JSON, который распарсится с первого раза, а не текст с комментариями вокруг.
Prompting80%
Промптинг · Генеративный ИИУправление поведением модели через формулировку запроса, без изменения весов.
Глава «Генеративный ИИ» последний раз правилась . Нашли ошибку — напишите.