Использование модели, обученной на большой выборке, для задачи с малым числом примеров. Главный практический приём современного глубокого обучения.
Ключевые тезисы
- Заморозка бэкбона и обучение головы — минимальный рецепт при нескольких сотнях примеров.
- Дискриминативный : нижние слои учим медленнее верхних.
- Разрыв доменов решает промежуточное на неразмеченных данных целевого домена.
Какую задачу решает
Обучить сеть с нуля можно, если у вас миллионы размеченных примеров и бюджет на тысячи GPU-часов. У большинства задач нет ни того, ни другого — есть пара тысяч картинок и неделя. снимает это ограничение: берётся модель, уже обученная на большом корпусе, и адаптируется под вашу задачу.
Работает это потому, что нижние слои выучивают универсальные вещи — края, текстуры, части объектов, синтаксис языка, — которые не зависят от конкретной задачи. Специфика живёт наверху, и переучивать нужно в основном её. На практике это даёт качество, недостижимое при обучении с нуля на малых данных, за считанные часы вместо недель.
Шаг 1: заменяем последний слой на свой (число классов ваше), замораживаем всё остальное, обучаем только голову 3–5 эпох со скоростью — модель быстро выходит на разумное качество. Шаг 2: размораживаем всё, снижаем скорость до и обучаем ещё 5–10 эпох с косинусным спадом. Шаг 1 не даёт случайно инициализированной голове разрушить бэкбон большими на первых итерациях; шаг 2 подстраивает под ваш домен. Пропуск первого шага — самая частая причина, по которой выдаёт результат хуже, чем заморозка.
Подробный разбор
- Заменить голову под свою задачу, заморозить бэкбон, обучить голову (2–3 эпохи).
- Разморозить верхние блоки, продолжить с lr в 5–10 раз меньше.
- При достаточном объёме данных разморозить всё с дискриминативным lr по слоям.
- Всегда: , , отслеживание разрыва train/val.
Чем меньше данных и чем ближе домен к предобучению, тем больше слоёв стоит держать замороженными.
Медицинские снимки, спутниковые изображения и промышленный контроль плохо покрываются обычным предобучением. Помогает промежуточный этап: self-supervised на своих неразмеченных данных, а уже потом обучение с метками.
- Даже несколько тысяч неразмеченных изображений своего домена дают заметный эффект.
- Для текста аналог — на корпусе домена перед классификацией.
Где применяется
- Зрение с малой выборкойТысяча размеченных снимков дефектов: предобученный ResNet или доводится до рабочего качества за часы.
- Специализированный NLP на юридических или медицинских текстах: домен узкий, размеченных данных мало.
- МультиязычностьМодель, обученная на многих языках, переносится на язык, для которого данных почти нет.
- без Предобученная сеть как экстрактор , поверх — простая или .
Плюсы, минусы и альтернативы
Плюсы
- Радикально снижает требования к объёму размеченных данных.
- Сокращает обучение с недель до часов и стоимость — на порядки.
- На малых выборках качество почти всегда выше, чем при обучении с нуля.
- Стартовая точка лучше случайной, поэтому обучение устойчивее.
- Огромный выбор готовых весов почти под любую модальность.
Минусы
- Наследует смещения и слабости исходной модели вместе с её знаниями.
- При большом разрыве доменов выигрыш тает, а иногда становится отрицательным.
- Архитектура фактически задана выбором бэкбона.
- Легко испортить веса слишком большой скоростью обучения на старте.
- Лицензии и происхождение обучающих данных исходной модели — реальный юридический риск.
Брать, если
- Размеченных данных меньше десятков тысяч примеров.
- Существует предобученная модель на близком домене.
- Нужен быстрый рабочий прототип с приличным качеством.
Не брать, если
- Ваш домен радикально не похож на всё предобученное (специфические сенсоры, нестандартные модальности).
- Данных миллионы и есть бюджет — обучение с нуля даст архитектуру ровно под задачу.
- Лицензия исходной модели несовместима с вашим применением.
Чем заменяют
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Глубокое обучение» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Эффективность моделей
Mixture of Experts80%
Смесь экспертов · Глубокое обучениеАрхитектура, в которой на каждый токен активируется лишь часть параметров: большая ёмкость при умеренной стоимости вычислений.
Distillation80%
Дистилляция · Генеративный ИИОбучение маленькой модели воспроизводить поведение большой: кратное снижение стоимости при небольшой потере качества.
LoRA80%
LoRA · Генеративный ИИОбучение низкоранговых добавок к весам вместо полного дообучения модели.
GPU Inference80%
GPU-инференс · Системный дизайн ML-сервисовКак выжать из видеокарты пропускную способность и не переплачивать.
Cost Model80%
Экономика сервиса · Системный дизайн ML-сервисовСтоимость одного предсказания и точка, где модель перестаёт окупаться.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Предобученный бэкбон
Модель, обученная на большом корпусе (ImageNet, веб-тексты). Источник универсальных .
Разбор ниже: Рецепт дообученияЗаморозка слоёв
Нижние слои не обучаются, верхние — обучаются. Первый шаг рецепта при малых данных.
Разбор ниже: Рецепт дообученияДообучение (fine-tuning)
Разморозка всей сети с очень маленькой скоростью обучения. Даёт лучшее качество, но требует больше данных.
Разбор ниже: Рецепт дообученияДискриминативные LR
Разная по слоям: чем ниже слой, тем меньше — он и так почти прав.
Разбор ниже: Рецепт дообученияDomain gap
Расхождение между доменом предобучения и вашим. Чем оно больше, тем глубже придётся переучивать.
Разбор ниже: Разрыв доменовКатастрофическое забывание
Слишком большая на старте стирает предобученные знания — и вы фактически учите с нуля.
Разбор ниже: Разрыв доменовПрофильная компетенция для ролей: ML Engineer, NLP-инженер, CV-инженер.
Усиливает профиль: LLM-инженер, Инженер речи.
Спрашивают на собеседовании: Яндекс — Computer Vision, Сбер — Computer Vision, VK — Зрение и модерация контента, Lamoda — Зрение и атрибуты каталога, Dodo Brands — Зрение на кухне, 2ГИС — Зрение и данные о городе, Ростелеком — Видеоаналитика, Северсталь — Зрение в контроле качества.
Тема встречается в тестах по направлениям — ошибки приведут обратно на эту страницу.
Глава «Глубокое обучение» последний раз правилась . Нашли ошибку — напишите.