Generative AI
Генеративный ИИ
Языковые, визуальные и мультимодальные генеративные модели, способы их адаптации и построения агентных систем.
Что означают метки тем
Diffusionновинка
ДиффузияИтеративное расшумление — текущий стандарт генерации изображений, видео и аудио.
LLMновинка
Большие языковые моделиТрансформеры-декодеры, обученные на огромных корпусах предсказывать следующий токен.
Multimodal Modelsновинка
Мультимодальные моделиЕдиная модель, принимающая и порождающая несколько модальностей: текст, изображения, звук.
Latent Diffusionновинка
Латентная диффузияДиффузия не в пикселях, а в сжатом пространстве автоэнкодера: та же модель на порядок дешевле.
Reasoning Modelsновинка
Рассуждающие моделиМодели, которые тратят вычисления на обдумывание до ответа: длинная внутренняя цепочка рассуждений вместо немедленной генерации. Отдельный класс со своей экономикой и своими задачами.
Russian LLMsновинка
Российские языковые моделиGigaChat, YandexGPT и открытые модели с сильным русским: чем отличаются от глобальных, когда их выбирают и что спрашивают о них на собеседовании в российских компаниях.
Generative Modelsактуально
Генеративные моделиМодели, обучающие распределение данных и умеющие порождать новые объекты из него.
Autoregressive Modelsактуально
Авторегрессионные моделиПорождают объект по частям, каждый раз предсказывая следующий элемент по предыдущим.
VAEактуально
Вариационный автоэнкодерГенерация через непрерывное вероятностное латентное пространство.
Diffusion Samplingактуально
Сэмплеры диффузииЧисло шагов денойзинга — главный рычаг скорости; решает его не переобучение, а более точный численный метод.
GANклассика
GANСостязательная пара сетей, дающая резкие и реалистичные изображения.
Diffusion Modelsновинка
Диффузионные моделииз «Глубокое обучение»Модель учится обращать процесс постепенного зашумления, превращая шум в изображение за серию шагов.
Mixture of Expertsновинка
Смесь экспертовиз «Глубокое обучение»Архитектура, в которой на каждый токен активируется лишь часть параметров: большая ёмкость при умеренной стоимости вычислений.
VAEактуально
Вариационный автоэнкодериз «Глубокое обучение»Вероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.
GANклассика
Генеративно-состязательные сетииз «Глубокое обучение»Генератор и дискриминатор обучаются в игре с нулевой суммой, повышая реалистичность выборок.
Generative Lossesактуально
Функции потерь генеративных моделейЧем измеряется ошибка, когда правильного ответа не существует: правдоподобие, состязательные потери, предсказание шума и контрастные цели.
Loss functionsактуально
Функции потерьиз «Глубокое обучение»Формализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.
Promptingновинка
ПромптингУправление поведением модели через формулировку запроса, без изменения весов.
LoRAновинка
LoRAОбучение низкоранговых добавок к весам вместо полного дообучения модели.
PEFT and Adaptersновинка
Экономное дообучениеБазовая модель заморожена, обучается лишь небольшой набор дополнительных параметров — адаптеры, LoRA, префиксы.
RLHFновинка
RLHFДообучение по человеческим предпочтениям: модель награды + оптимизация политики.
Distillationновинка
ДистилляцияОбучение маленькой модели воспроизводить поведение большой: кратное снижение стоимости при небольшой потере качества.
ControlNetновинка
Управляемая генерацияДополнительная сеть, которая задаёт генерации пространственную структуру: эскиз, позу, карту глубины, границы.
Fine-tuningактуально
ДообучениеАдаптация предобученной модели под домен или формат на собственных данных.
RAGновинка
RAGПодмешивание найденных документов в контекст модели вместо хранения знаний в весах.
Agentsновинка
АгентыLLM, которая планирует, вызывает инструменты и итеративно движется к цели.
Agent Patternsновинка
Шаблоны агентовИз чего складывается работающий агент: цикл «рассуждение — действие — наблюдение», планирование, память, проверка результата и, главное, ограничения на всё перечисленное.
Model Context Protocolновинка
MCP: протокол подключения инструментовОткрытый протокол, которым языковая модель получает доступ к инструментам и данным: вместо своей интеграции под каждое приложение — один интерфейс, общий для всех.
Video Generationновинка
Генерация видеоК качеству каждого кадра добавляется временная согласованность: объекты не должны мерцать и менять форму между кадрами.
Structured Outputактуально
Структурированный выводКак получить от языковой модели JSON, который распарсится с первого раза, а не текст с комментариями вокруг.
RAGновинка
Retrieval-Augmented Generationиз «Обработка естественного языка»Языковая модель отвечает, опираясь на найденные во внешней базе фрагменты, а не только на память весов.
LLM Servingновинка
Обслуживание LLMиз «Системный дизайн ML-сервисов»Отдельная инженерная дисциплина: KV-кеш, непрерывный батчинг, потоковая отдача и контроль стоимости.
Prompt Injectionновинка
Промпт-инъекциииз «Безопасность ИИ»Инструкции, спрятанные во входных данных LLM: модель не отличает данные от команд и выполняет чужое указание.
LLM Evaluationновинка
Оценка языковых моделейКак измерять качество генерации: бенчмарки, оценка моделью-судьёй и человеческие сравнения.
Perplexityактуально
Перплексияиз «Метрики»Экспонента кросс-энтропии языковой модели: между сколькими равновероятными вариантами она в среднем выбирает.
Text Generation Metricsактуально
Метрики генерации текстаиз «Метрики»BLEU, ROUGE и BERTScore: от совпадения n-грамм до сравнения смыслов через контекстные эмбеддинги.
FID and Generation Qualityактуально
FID и качество генерациииз «Метрики»Метрики визуальной генерации: расстояние между распределениями признаков реальных и сгенерированных изображений.
11 тем показаны здесь из других глав — они подходят по смыслу и открываются в своей главе.