КабинетПоиск
Генеративный ИИ

RAG

RAG

новинкаНовое или быстро растущее направление

Направления: Генеративный ИИ · RAG

Подмешивание найденных документов в контекст модели вместо хранения знаний в весах.

Ключевые тезисы

  • Дешевле и позволяет обновлять знания мгновенно.
  • Даёт цитируемость и проверяемость ответов.
  • Слабое звено — retrieval: плохой поиск не спасёт никакая модель.

Какую задачу решает

У два неустранимых ограничения: она не знает ваших внутренних документов и не знает ничего после даты отсечки. решает это плохо — оно дорого, требует повтора при каждом изменении данных и не даёт сослаться на источник.

заходит с другой стороны: перед ответом система ищет релевантные фрагменты в вашей базе и кладёт их прямо в контекст запроса. Модель отвечает не по памяти, а по предъявленному тексту. Обновление знаний становится обновлением индекса, а не , и у каждого утверждения появляется проверяемая ссылка.

Почему один реранкер важнее смены модели

Типичная связка: поиск возвращает топ-5 фрагментов, они уходят в контекст. Проблема в том, что косинусная близость — грубая мера: нужный фрагмент часто оказывается на 7–15 месте и просто не попадает в . Решение: доставать топ-50 быстрым поиском и переупорядочивать их cross-encoder-реранкером, который смотрит на пару «запрос — фрагмент» целиком. На типичной базе знаний это поднимает долю случаев, где верный фрагмент попал в контекст, с примерно 70% до 90% — эффект больше, чем от перехода на модель следующего поколения, и стоит десятки миллисекунд.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

  • Слишком мелкие чанки теряют контекст, слишком крупные размывают .
  • Рабочий ориентир: 200–500 с перекрытием 10–20%.
  • Уважайте структуру документа: заголовки, разделы, таблицы не должны разрываться посередине.
  • Полезно добавлять в чанк заголовок раздела и название документа — это заметно улучшает retrieval.
На практике

Прежде чем менять модель , проверьте чанкование: обычно там лежит больший запас качества.

  • Query rewriting: модель переформулирует вопрос перед поиском — помогает при разговорных запросах.
  • HyDE: сгенерировать гипотетический ответ и искать по нему, а не по вопросу.
  • Multi-query: несколько переформулировок, объединение результатов.
  • Контекстное обогащение чанка: добавить в него заголовки разделов и краткое описание документа.
  • Цитирование: требовать в ответе ссылки на конкретные фрагменты — так проверяемость становится измеримой.

Где применяется

  • Поиск по базе знанийОтветы по внутренней документации со ссылками на конкретные разделы.
  • Поддержка клиентовОтветы по актуальным регламентам и тарифам, которые меняются каждую неделю.
  • Юридический и научный поискРабота с корпусами, где ссылка на источник обязательна.
  • Ответы по свежим даннымНовости, курсы, статусы — всё, что появилось после обучения модели.

Плюсы, минусы и альтернативы

Плюсы

  • Знания обновляются переиндексацией, без модели.
  • Ответ сопровождается ссылками — его можно проверить.
  • Резко снижает на фактических вопросах.
  • Права доступа применяются на этапе поиска: пользователь видит только своё.
  • Работает с любой моделью, включая закрытые API.

Минусы

  • Качество упирается в поиск: не нашли фрагмент — правильного ответа не будет.
  • Растёт : поиск, реранк, длинный контекст.
  • Длинный контекст оплачивается на каждом запросе.
  • Инфраструктура сложнее: индекс, , обновления.
  • Модель может проигнорировать найденное и всё равно ответить по памяти.

Брать, если

  • Ответы должны опираться на ваши документы и быть проверяемыми.
  • Данные меняются быстрее, чем имеет смысл переобучать модель.
  • Нужно разграничение доступа к знаниям по пользователям.

Не брать, если

  • Нужен стиль или формат ответа, а не факты — это лечится или .
  • База маленькая и целиком помещается в контекст — поиск лишний.
  • Задача требует рассуждения по всему корпусу сразу, а не по нескольким фрагментам.

Чем заменяют

Fine-tuningактуальноДообучение · Генеративный ИИНужны стиль, формат и поведение, а не свежие факты.Semantic SearchновинкаСемантический поиск · Обработка естественного языкаНужен сам поиск, а генерация ответа не требуется.RAGновинкаRetrieval-Augmented Generation · Обработка естественного языкаНужен разбор той же архитектуры со стороны NLP-пайплайна.
Тема также относится к главам:Обработка естественного языкаПоиск и RAG · Языковые моделиГрафы и сетиМашинное обучение на графах

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «Генеративный ИИ» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.

Курс: Обучение с подкреплением11 записейКурс: Генеративные модели26 записей

Связанные темы

Поиск, эмбеддинги и RAG · Адаптация языковых моделей

Embeddings80%

Эмбеддинги · Обработка естественного языка

Плотные векторные представления объектов, где геометрическая близость означает смысловое сходство.

Semantic Search80%

Семантический поиск · Обработка естественного языка

Поиск по смыслу, а не по совпадению слов: запрос и документы сравниваются в пространстве эмбеддингов.

RAG80%

Retrieval-Augmented Generation · Обработка естественного языка

Языковая модель отвечает, опираясь на найденные во внешней базе фрагменты, а не только на память весов.

TF-IDF80%

TF-IDF · Обработка естественного языка

Взвешивает частоту слова в документе на его редкость в корпусе, подавляя общеупотребительные слова.

LLM80%

Большие языковые модели · Генеративный ИИ

Трансформеры-декодеры, обученные на огромных корпусах предсказывать следующий токен.

Agents80%

Агенты · Генеративный ИИ

LLM, которая планирует, вызывает инструменты и итеративно движется к цели.

NDCG80%

NDCG · Метрики

Нормированный дисконтированный кумулятивный выигрыш: учитывает градации релевантности и позиции с логарифмическим дисконтом.

MRR80%

Средний обратный ранг · Метрики

Среднее значение 1/rank первого релевантного результата.

MAP80%

Средняя усреднённая точность · Метрики

Среднее по запросам от average precision — учитывает и релевантность, и позиции.

Precision@K80%

Точность@K · Метрики

Доля релевантных объектов среди первых K позиций выдачи.

Recall@K80%

Полнота@K · Метрики

Какая доля всех релевантных объектов попала в топ-K.

Prompting80%

Промптинг · Генеративный ИИ

Управление поведением модели через формулировку запроса, без изменения весов.

Fine-tuning80%

Дообучение · Генеративный ИИ

Адаптация предобученной модели под домен или формат на собственных данных.

LoRA80%

LoRA · Генеративный ИИ

Обучение низкоранговых добавок к весам вместо полного дообучения модели.

RLHF80%

RLHF · Генеративный ИИ

Дообучение по человеческим предпочтениям: модель награды + оптимизация политики.

PPO80%

PPO · Обучение с подкреплением

Устойчивый policy-gradient метод с ограничением величины обновления политики.

GPT80%

GPT · Обработка естественного языка

Авторегрессионный декодер: предсказывает следующий токен, что оказалось достаточно универсальной задачей.

Кому эта тема нужна

Профильная компетенция для ролей: LLM-инженер, Продуктовый инженер.

Усиливает профиль: NLP-инженер.

Спрашивают на собеседовании: Газпромбанк — Документы и языковые модели, Точка — Ассистенты и поддержка, Positive Technologies — Языковые модели в безопасности, 1С — Помощники в приложениях, Группа Астра — Ассистенты для администраторов, Т1 — Документы и ассистенты, Росатом — Документооборот и NLP.

Добавить в учебную программу
Проверить себя

Тема встречается в тестах по направлениям — ошибки приведут обратно на эту страницу.

Тест: NLP24Тест: Генеративный ИИ и LLM24
Тема в работе целиком

Разбор архитектуры, где эта тема — один из кирпичей: требования, развилки, цифры и режимы отказа.

Кейс: Тяжёлый трансформер в прод
Следующий шагПроверить себя: NLPТема встречается в этом тесте 1 раз. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →
← RLHFAgents →

Глава «Генеративный ИИ» последний раз правилась . Нашли ошибку — напишите.