LLM-инженер — кто это и чем занимается
Продукт поверх языковой модели: RAG, агенты, дообучение
LLM-инженер — специалист, который собирает продукт поверх большой языковой модели: поиск по своим данным (RAG), вызов инструментов и агенты, дообучение под домен. Отвечает и за качество ответов, и за их цену.
Также встречается как LLM-инженер, инженер больших языковых моделей, GenAI-инженер, инженер генеративного ИИ, LLM / GenAI Engineer · 8 ключевых компетенций · оси знаний: NLP, LLM
Чем занимается LLM-инженер
Собирает решения на больших языковых моделях: поиск по своим данным, инструменты, дообучение под домен. Отвечает и за качество ответов, и за их цену.
- Проектирует RAG: как режутся документы, чем считается эмбеддинг, как устроен индекс и переранжирование.
- Ставит задачу модели: промпт, структурированный ответ, поведение при отсутствии данных.
- Собирает агентов: набор инструментов, границы их применения, обработка сбоя вызова.
- Дообучает модель под домен через LoRA и экономные адаптеры, когда промпта не хватает.
- Строит оценку качества генерации: наборы примеров, автоматические судьи, разбор регрессий.
- Отвечает за безопасность и стоимость: промпт-инъекции, утечка данных, батчинг, кеш и дистилляция.
Что нужно знать
Ядро профессии: без этих компетенций роль не складывается. У каждой — темы атласа, с которых её разбирают.
- LLM и промптингядроось: Генеративный ИИ и LLM
Как устроена языковая модель и как ставить ей задачу.
- RAG и агентыядроось: Генеративный ИИ и LLM
Ответы по своим данным и вызов инструментов моделью.
- Дообучение LLMядроось: Генеративный ИИ и LLM
Fine-tuning, LoRA, экономные адаптеры, RLHF.
- Оценка и безопасность LLMядроось: Генеративный ИИ и LLM
Чем измеряют качество генерации и как ловят промпт-инъекции.
- Обслуживание LLMядроось: MLOps и инженерия
Батчинг, кеш, дистилляция и стоимость токена в проде.
- Эмбеддинги и семантический поискядроось: NLP
Векторные представления и поиск по смыслу.
- Трансформеры и вниманиеядроось: Глубокое обучение
Самовнимание, архитектура трансформера, смесь экспертов.
- Ответственный ИИядроось: MLOps и инженерия
Приватность, риски и правила, без которых модель не пустят в прод.
Уровни: junior, middle, senior
За что отвечает LLM-инженер на каждом уровне — этим и отличается грейд.
Оси знаний и плановые метки
Насколько направление профильно для роли и какой результат теста ожидается на каждом уровне. Проценты — плановые метки карьерного атласа, а не порог найма.
| Ось знаний | Значимость | Junior | Middle | Senior |
|---|---|---|---|---|
| Статистика и вероятность | обзорно | 25% | 45% | 58% |
| Классический ML | обзорно | 25% | 45% | 58% |
| Глубокое обучение | рабочая | 40% | 60% | 73% |
| NLP | профильная | 55% | 75% | 88% |
| Генеративный ИИ и LLM | профильная | 55% | 75% | 88% |
| Computer Vision | обзорно | 25% | 45% | 58% |
| Временные ряды | обзорно | 25% | 45% | 58% |
| Рекомендательные системы | обзорно | 25% | 45% | 58% |
| Речь: ASR и TTS | обзорно | 25% | 45% | 58% |
| MLOps и инженерия | рабочая | 40% | 60% | 73% |
Как войти в профессию
Приходят из NLP, из общей ML-инженерии и из бэкенда. Быстрее всего входят те, кто уже умеет считать эмбеддинги и оценивать качество: без метрики генеративный продукт улучшать нечем.
Смежные роли и с чем путают
Куда легче всего перейти и от кого эту профессию чаще всего не отличают.
Вопросы о профессии
Достаточно ли уметь писать промпты?
Нет. Промптинг — только вход. Продукт держится на поиске по своим данным, оценке ответов, защите от инъекций и экономике токена; без этого решение не переживает первую же неделю в проде.
RAG или дообучение?
RAG — когда нужны свежие и проверяемые факты из своих документов. Дообучение — когда нужен стиль, формат или доменный язык. Часто применяют вместе, и порядок обычно такой: сначала RAG, дообучение — если промпта и поиска не хватило.
Как измерять качество генерации?
Фиксированным набором примеров с ожидаемым поведением, метриками задачи там, где ответ проверяем, и моделью-судьёй с ручной перепроверкой. Ощущение «стало лучше» не метрика.
Нужно ли знать, как устроен трансформер?
Да, хотя бы внимание, контекстное окно и токенизацию: из них следуют и ограничения на длину, и цена запроса, и часть странных ответов.
Что учить первым?
Эмбеддинги и семантический поиск — без них не собрать RAG. Сразу следом — оценку качества и промпт-инъекции.