LLM

Трансформеры-декодеры, обученные на огромных корпусах предсказывать следующий .

Ключевые тезисы

Законы масштабирования связывают параметры, данные и качество.
Ключевые ограничения: длина контекста, , дата обучения.
упирается в память и пропускную способность, а не только во FLOPs.

Какую задачу решает

— это авторегрессионный , обученный предсказывать следующий на корпусе в триллионы токенов. Задача формулируется тривиально, а результат оказался неожиданным: вместе с предсказанием текста модель осваивает перевод, рассуждение, программирование и следование инструкциям, которым её отдельно не учили.

Механика этого проста и неприятна одновременно: чтобы хорошо предсказывать следующее слово в тексте человечества, нужно понимать примерно всё, о чём человечество пишет. Практическая работа с поэтому сводится не к обучению, а к трём вещам: подобрать модель под бюджет, правильно сформулировать запрос и дать модели доступ к нужным данным.

Когда LLM — неправильный инструмент

Задача: классифицировать 10 млн отзывов на позитивные и негативные. Через API это примерно 10 млн запросов и вполне ощутимый счёт, плюс дни на прогон. Альтернатива: разметить тысячу примеров, обучить на них или даже на — качество окажется в пределах пары процентов, займёт минуты и обойдётся в стоимость одной машины на час. Правильный паттерн — использовать большую модель как источник разметки, а в прод ставить маленькую.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

L (N, D) \approx \frac{A}{N ^{α}} + \frac{B}{D ^{β}} + L_{\infty}

Обозначения

$α$ коэффициент, задающий вес слагаемого или скорость обновления
$β$ коэффициент сглаживания (инерции)
$n$ число объектов в выборке
$A$ матрица преобразования
$L$ функция потерь — то, что минимизируется при обучении

Потери падают степенным образом по числу параметров

N

и объёму данных

D

Работа Chinchilla показала, что многие модели были : при фиксированном бюджете выгоднее модель поменьше, обученная на большем числе . Ориентир — примерно 20 токенов на параметр.

Prefill (обработка ) параллелится по и упирается в вычисления.
Decode (генерация) последователен и упирается в пропускную способность памяти: на каждый читаются все веса.
KV-кэш растёт линейно с длиной контекста и занимает существенную часть памяти.
Отсюда приёмы: (int8/int4), запросов, спекулятивное декодирование, PagedAttention.

Где применяется

Работа с текстомРезюмирование, извлечение полей, классификация, перевод — часто без обучения вовсе, одним запросом.
Ассистенты с поиском: модель отвечает по вашим документам, а не по памяти, и приводит ссылки.
РазработкаГенерация, объяснение и рефакторинг кода — область с самым измеримым эффектом.
АгентыМодель вызывает инструменты и API, выполняя многошаговые задачи.
Синтез разметкиГенерация обучающих данных и предварительная разметка для более дешёвых моделей.

Плюсы, минусы и альтернативы

Плюсы

Решает множество задач без обучения — достаточно сформулировать запрос.
Нулевая стоимость входа: работающий прототип за час вместо месяца.
Естественный язык как интерфейс — не нужны ни разметка, ни .
Хорошо переносится между доменами и языками.
Быстро дешевеет: цена за падает на порядки за считанные годы.

Минусы

: уверенный тон никак не связан с правильностью.
Знания заморожены на дате отсечки, если не подключён поиск.
Стоимость и на порядки выше специализированной модели.
Недетерминированность мешает тестированию и воспроизводимости.
Уязвимость к инъекциям в при работе с внешним текстом.
Данные уходят провайдеру, если модель не своя.

Брать, если

Задача про язык и её трудно формализовать правилами.
Размеченных данных мало или нет вовсе.
Нужен быстрый прототип, чтобы проверить ценность до вложений в свою модель.

Не брать, если

Задача решается регулярным выражением, поиском или классификатором — они дешевле в тысячи раз.
Нужны детерминированность и полная воспроизводимость.
Объёмы огромны, а маржа тонкая: цена за станет главной статьёй расходов.
Данные нельзя передавать наружу, а своей инфраструктуры нет.

Чем заменяют

Text classificationактуальноКлассификация текстов · Обработка естественного языкаЗадача узкая и повторяющаяся: специализированная модель дешевле и предсказуемее.RAGновинкаRAG · Генеративный ИИНужны ответы по своим данным с проверяемыми ссылками.Fine-tuningактуальноДообучение · Генеративный ИИНужен стабильный формат или свой домен, и это не добирается.

Тема также относится к главам:Глубокое обучениеАрхитектуры Обработка естественного языкаЯзыковые модели · Модели Системный дизайн ML-сервисовПроизводительность

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

3:30Этапы обучения LLM: претренинг, instruction tuning, alignmentОбучение с подкреплением · Лекция «Выравнивание языковых моделей» · 2 ч 16 мин 18:19Ограничения одношагового взаимодействия LLMОбучение с подкреплением · Лекция «Обучение LLM-агентов и RL» · 3 ч 20 мин 2:23:55Влияние LLM и автоматизация разметкиПрикладной MLOps · Лекция «Разметка данных» · 2 ч 56 мин 1:11:13Библиотека GGML для LLMПрикладной MLOps · Лекция «Ускорение вычислений и инференс» · 2 ч 52 мин

Связанные темы

Внимание и трансформеры · Поиск, эмбеддинги и RAG · Мультимодальность

Кому эта тема нужна

Профильная компетенция для ролей: LLM-инженер, Продуктовый инженер.

Усиливает профиль: NLP-инженер.

Спрашивают на собеседовании: Сбер — NLP и LLM, МТС — Речь и разговорный ИИ, Газпромбанк — Документы и языковые модели, Точка — Ассистенты и поддержка, HeadHunter — Тексты вакансий и резюме, Positive Technologies — Языковые модели в безопасности, 1С — Помощники в приложениях, Группа Астра — Ассистенты для администраторов, Cloud.ru — Модели как сервис, Т1 — Документы и ассистенты.

Добавить в учебную программу

Проверить себя

Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.

Тест: Генеративный ИИ и LLM24

Следующий шагПроверить себя: Генеративный ИИ и LLMТема встречается в этом тесте 1 раз. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →

Глава «Генеративный ИИ» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

1Законы масштабированияКак связаны параметры, данные и качество.

2Экономика инференсаПочему генерация дороже, чем чтение промпта.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

Vision Transformers96%

Embeddings95%

Attention85%

Transformers85%

Attention85%

Transformers85%

BERT85%

GPT85%

Transformer forecasting85%

Semantic Search80%

RAG80%

TF-IDF80%

RAG80%

Agents80%

NDCG80%

MRR80%

MAP80%

Precision@K80%

Recall@K80%

Multimodal Models75%

Multimodal Models75%

OCR75%

Ключевые понятия6 определений из текста — каждое со ссылкой на разбор

Предобучение

Законы масштабирования

Контекстное окно

Токен

Галлюцинация

Выравнивание (alignment)