Обучение маленькой модели воспроизводить поведение большой: кратное снижение стоимости при небольшой потере качества.
Ключевые тезисы
- Ученик учится на «мягких» распределениях учителя, а не только на метках.
- Для это чаще всего на ответах сильной модели по вашим запросам.
- Каскад «маленькая модель + эскалация в большую» часто выгоднее чистой .
Подробный разбор
- По логитам: ученик приближает распределение учителя (классический Hinton-подход).
- По ответам: ученик дообучается на выходах сильной модели по вашим реальным запросам.
- По рассуждениям: в обучающие примеры включаются цепочки рассуждений учителя.
- коэффициент, задающий вес слагаемого или скорость обновления
- истинное значение целевой переменной
- распределение, предсказанное моделью
- функция потерь — то, что минимизируется при обучении
- норма — длина вектора
Маленькая модель отвечает сама и оценивает свою уверенность; при низкой уверенности запрос уходит к большой модели. При доле эскалации 20% средняя стоимость падает в несколько раз почти без потери качества.
- Порог эскалации подбирается по кривой «стоимость — качество» на валидации.
- Нужна честная оценка уверенности: логиты, самосогласованность или отдельный классификатор.
- Каскад проще внедрить и откатить, чем дистиллированную модель.
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Эффективность моделей · Сжатие моделей
LoRA96%
LoRA · Генеративный ИИОбучение низкоранговых добавок к весам вместо полного дообучения модели.
GPU Inference96%
GPU-инференс · Системный дизайн ML-сервисовКак выжать из видеокарты пропускную способность и не переплачивать.
Transfer Learning80%
Перенос обучения · Глубокое обучениеИспользование модели, обученной на большой выборке, для задачи с малым числом примеров. Главный практический приём современного глубокого обучения.
Mixture of Experts80%
Смесь экспертов · Глубокое обучениеАрхитектура, в которой на каждый токен активируется лишь часть параметров: большая ёмкость при умеренной стоимости вычислений.
Cost Model80%
Экономика сервиса · Системный дизайн ML-сервисовСтоимость одного предсказания и точка, где модель перестаёт окупаться.
Pruning80%
Прунинг · Глубокое обучениеУдаление наименее значимых весов, каналов или голов внимания из уже обученной сети ради скорости инференса.
PEFT and Adapters80%
Экономное дообучение · Генеративный ИИБазовая модель заморожена, обучается лишь небольшой набор дополнительных параметров — адаптеры, LoRA, префиксы.
Mixed Precision80%
Смешанная точность · Оптимизация обученияОбучение в fp16 или bf16 при накоплении в fp32: двукратная экономия памяти и заметное ускорение.
Профильная компетенция для роли: LLM-инженер.
Усиливает профиль: MLOps-инженер, Продуктовый инженер.
Спрашивают на собеседовании: 1С — Помощники в приложениях, YADRO — Эффективность моделей, Cloud.ru — Модели как сервис.
Глава «Генеративный ИИ» последний раз правилась . Нашли ошибку — напишите.