Адаптация предобученной модели под домен или формат на собственных данных.
Ключевые тезисы
- Лучше там, где важен стабильный стиль и формат ответа.
- Знания добавлять дорого — для этого есть .
- Качество датасета важнее его размера.
Какую задачу решает
отвечает на вопрос, который остаётся после и : что делать, если модель знает предметную область и получает нужные документы, но всё равно отвечает не в том формате, не тем тоном или не по вашим правилам? Промпт с двадцатью правилами хрупок и дорог; дообучение переносит эти правила в веса.
Важно понимать границу: хорошо учит поведению и плохо — фактам. Стиль, формат, структура ответа, доменная терминология, следование протоколу — это . Свежие сведения, приватные документы, меняющиеся данные — это . Попытка загнать факты в веса приводит к дорогому при каждом изменении и к галлюцинациям на границе выученного.
: системный разросся до 2000 правил; формат ответа соблюдается в 90% случаев, а нужно 99%; на одном и том же запросе модель отвечает по-разному от запуска к запуску; на каждый запрос вы платите за одни и те же инструкции. Соберите 500–2000 примеров идеальных ответов (можно сгенерировать большой моделью и вычистить руками), обучите на модели 7–8B, сравните на отложенной выборке с текущим решением по формату, качеству и стоимости. Если выигрыш есть только по стоимости — это уже достаточная причина.
Подробный разбор
| Задача | Инструмент |
|---|---|
| Стабильный формат и стиль ответа | |
| Свежие или приватные факты | |
| Узкий доменный язык (медицина, право) | + |
| Быстрая проверка гипотезы |
Данные важнее объёма: 1 000 тщательно выверенных примеров обычно дают лучший результат, чем 50 000 шумных. Обязательно держите отложенную выборку — проявляется как потеря общих способностей модели.
- Соберите реальные запросы, а не придуманные.
- Напишите эталонные ответы в том формате, который нужен в проде.
- Уберите дубликаты и противоречия — модель выучит и их тоже.
- Отложите 10–15% как тест и никогда не обучайтесь на нём.
- Проверьте на утечку: тестовые примеры не должны встречаться в обучении даже в перефразированном виде.
при — потеря общих способностей: модель отлично решает вашу задачу и разучилась всему остальному. Держите небольшой набор общих проверок.
Где применяется
- Жёсткий формат выводаСтрого определённый JSON или разметка, которую соблюдает через раз.
- Тон и стиль брендаГолос компании, которому проще научить примерами, чем описать словами.
- Узкий доменМедицина, право, промышленность: специфическая терминология и принятые формулировки.
- Удешевление модель на 7B заменяет большую на типовом потоке запросов.
- Сокращение Длинные инструкции переезжают в веса, экономя на каждом запросе.
Плюсы, минусы и альтернативы
Плюсы
- Стабильный формат и стиль без огромных .
- Дешевле на : короткий запрос и модель поменьше.
- Специализированная модель на своей задаче обгоняет универсальную.
- делает эксперименты дешёвыми и обратимыми.
- Модель остаётся у вас — важно там, где данные нельзя отдавать наружу.
Минусы
- Нужен качественный датасет — обычно это и есть основная работа.
- Факты в весах устаревают, и обновление означает .
- Риск потерять общие способности при узком .
- Появляется MLOps-обвязка: версии моделей, оценка, откаты.
- Смена базовой модели обесценивает проделанную работу.
Брать, если
- стал длинным и всё равно нестабилен.
- Есть хотя бы несколько сотен качественных примеров «запрос — ответ».
- Нужно сократить стоимость на большом потоке.
Не брать, если
- Проблема в фактах, а не в поведении — это .
- Данные меняются еженедельно: не угонится.
- Примеров меньше сотни и они разнородные — вы обучите шум.
- ещё не выжат досуха: это всегда более дешёвый первый шаг.
Чем заменяют
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Адаптация языковых моделей
Prompting80%
Промптинг · Генеративный ИИУправление поведением модели через формулировку запроса, без изменения весов.
LoRA80%
LoRA · Генеративный ИИОбучение низкоранговых добавок к весам вместо полного дообучения модели.
RLHF80%
RLHF · Генеративный ИИДообучение по человеческим предпочтениям: модель награды + оптимизация политики.
RAG80%
RAG · Генеративный ИИПодмешивание найденных документов в контекст модели вместо хранения знаний в весах.
PPO80%
PPO · Обучение с подкреплениемУстойчивый policy-gradient метод с ограничением величины обновления политики.
GPT80%
GPT · Обработка естественного языкаАвторегрессионный декодер: предсказывает следующий токен, что оказалось достаточно универсальной задачей.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
SFT
Обучение на парах «запрос — эталонный ответ». Базовая форма под задачу.
Разбор ниже: Подготовка обучающих данныхКачество датасета
Тысяча вычищенных примеров бьёт сто тысяч шумных: модель копирует и ошибки тоже.
Разбор ниже: Подготовка обучающих данныхPEFT / LoRA
Обучение маленьких адаптеров вместо всех весов: дешевле в разы и легко откатывается.
Отдельная тема: LoRA — LoRAКатастрофическое забывание
Узкое стирает общие способности модели — нужна оценка не только на целевой задаче.
Разбор ниже: Когда дообучать, а когда нетДистилляция поведения
Обучение маленькой модели на ответах большой: типичный способ удешевить прод.
Отдельная тема: Distillation — ДистилляцияПрофильная компетенция для ролей: ML Engineer, NLP-инженер, LLM-инженер, CV-инженер.
Усиливает профиль: Продуктовый инженер, Исследователь, Инженер речи.
Спрашивают на собеседовании: Сбер — NLP и LLM, Газпромбанк — Документы и языковые модели, Группа Астра — Ассистенты для администраторов.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Генеративный ИИ» последний раз правилась . Нашли ошибку — напишите.