, которая планирует, вызывает инструменты и итеративно движется к цели.
Ключевые тезисы
- Цикл «мысль — действие — наблюдение» (ReAct) — базовый паттерн.
- Инструменты дают доступ к вычислениям, поиску и API.
- Главные риски: зацикливание, стоимость и отсутствие границ доступа.
Какую задачу решает
сама по себе умеет только порождать текст: она не может посмотреть в базу, отправить письмо или проверить свой ответ. Агент — это обвязка, которая даёт модели инструменты и цикл: подумать, вызвать инструмент, посмотреть результат, повторить.
Ценность в том, что задача перестаёт требовать решения за один проход. Модель может разбить работу на шаги, проверить промежуточный результат и исправиться. Плата — надёжность: вероятности ошибок перемножаются, и цепочка из десяти шагов с точностью 95% на шаг доходит до конца лишь в 60% случаев.
Пусть агент делает 10 шагов и на каждом ошибается в 5% случаев. Вероятность пройти всю цепочку без ошибки — . То есть четыре запуска из десяти завершатся неверно, хотя каждый отдельный шаг выглядит надёжным. Отсюда два практических вывода: сокращайте число шагов (одна хорошая функция вместо пяти мелких) и делайте шаги проверяемыми — запустить тест, свериться со схемой, перечитать записанное. Проверка превращает ошибку из накопительной в исправимую.
Подробный разбор
- Модель получает задачу и описание доступных инструментов.
- Решает, какой инструмент вызвать и с какими аргументами.
- Система выполняет вызов и возвращает результат.
- Модель учитывает результат и решает: продолжать или ответить.
- Границы доступа: агент должен иметь минимально необходимые права; опасные действия — через подтверждение.
- Лимиты: ограничение числа шагов и бюджета спасает от зацикливания.
- Наблюдаемость: логируйте каждый вызов инструмента — без этого отладка невозможна.
- Проверка ввода: содержимое веб-страниц и документов может содержать инструкции — это данные, а не команды.
- Минимальные права: доступ только к тем инструментам и данным, которые нужны задаче.
- Подтверждение для необратимых действий: платежи, удаление, отправка писем.
- Prompt injection: содержимое веб-страниц и документов может содержать инструкции. Отделяйте данные от команд и не позволяйте данным расширять права.
- Бюджеты и таймауты на число шагов и стоимость.
- Аудит: полный лог вызовов инструментов с аргументами.
Где применяется
- Ассистенты для разработкиПрочитать репозиторий, внести правку, запустить тесты, исправить по результату.
- Работа с даннымиСформулировать SQL, выполнить, проверить результат, уточнить запрос.
- ИсследованиеМногошаговый поиск с уточнением запросов и сведением источников.
- Автоматизация процессовРазбор входящих писем и заявок с обращением к внутренним системам.
Плюсы, минусы и альтернативы
Плюсы
- Решают задачи, не помещающиеся в один запрос.
- Проверяют себя по фактическому результату, а не по правдоподобию.
- Расширяются новыми инструментами без .
- Работают с актуальными данными через вызовы к системам.
Минусы
- Надёжность падает мультипликативно с длиной цепочки.
- Стоимость непредсказуема: цикл может уйти в десятки вызовов.
- Отладка тяжела — недетерминированность плюс много шагов.
- Серьёзная поверхность атаки: инъекции через любые внешние данные.
- Действия могут быть необратимыми, поэтому нужны подтверждения и песочницы.
Брать, если
- Задача требует нескольких шагов и обращений к внешним системам.
- Результат каждого шага можно проверить программно.
- Есть возможность ограничить последствия ошибок (песочница, подтверждения).
Не брать, если
- Задача решается одним запросом — цикл только добавит стоимости и рисков.
- Действия необратимы, а проверить их нечем.
- Нужна предсказуемая стоимость и .
Чем заменяют
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Безопасность и приватность ML · Поиск, эмбеддинги и RAG · Атаки на модель
Adversarial Examples85%
Состязательные примеры · Безопасность ИИНезаметное человеку возмущение входа, которое уверенно переключает ответ модели на неверный класс.
Data Poisoning and Backdoors85%
Отравление данных и бэкдоры · Безопасность ИИАтака на этапе обучения: в данные подмешивается триггер, и при его появлении на входе модель выдаёт заранее заданный ответ.
Prompt Injection85%
Промпт-инъекции · Безопасность ИИИнструкции, спрятанные во входных данных LLM: модель не отличает данные от команд и выполняет чужое указание.
Red Teaming85%
Красная команда · Безопасность ИИСистематический поиск способов заставить модель сделать то, чего она делать не должна, — до релиза, а не после.
Data Labeling85%
Разметка данных · ДанныеОрганизация разметки: инструкция, согласие аннотаторов и контроль качества. Потолок качества модели задаётся именно здесь.
Embeddings80%
Эмбеддинги · Обработка естественного языкаПлотные векторные представления объектов, где геометрическая близость означает смысловое сходство.
Semantic Search80%
Семантический поиск · Обработка естественного языкаПоиск по смыслу, а не по совпадению слов: запрос и документы сравниваются в пространстве эмбеддингов.
RAG80%
Retrieval-Augmented Generation · Обработка естественного языкаЯзыковая модель отвечает, опираясь на найденные во внешней базе фрагменты, а не только на память весов.
TF-IDF80%
TF-IDF · Обработка естественного языкаВзвешивает частоту слова в документе на его редкость в корпусе, подавляя общеупотребительные слова.
RAG80%
RAG · Генеративный ИИПодмешивание найденных документов в контекст модели вместо хранения знаний в весах.
LLM80%
Большие языковые модели · Генеративный ИИТрансформеры-декодеры, обученные на огромных корпусах предсказывать следующий токен.
NDCG80%
NDCG · МетрикиНормированный дисконтированный кумулятивный выигрыш: учитывает градации релевантности и позиции с логарифмическим дисконтом.
MRR80%
Средний обратный ранг · МетрикиСреднее значение 1/rank первого релевантного результата.
MAP80%
Средняя усреднённая точность · МетрикиСреднее по запросам от average precision — учитывает и релевантность, и позиции.
Precision@K80%
Точность@K · МетрикиДоля релевантных объектов среди первых K позиций выдачи.
Recall@K80%
Полнота@K · МетрикиКакая доля всех релевантных объектов попала в топ-K.
Privacy and Security70%
Приватность и безопасность · Системный дизайн ML-сервисовПерсональные данные, доступы и специфические для ML риски.
Prompting70%
Промптинг · Генеративный ИИУправление поведением модели через формулировку запроса, без изменения весов.
Data Contracts70%
Контракты данных · Инженерия данныхЯвная договорённость между источником и потребителем: какие поля, каких типов и с какими гарантиями.
Monitoring70%
Мониторинг · MLOpsНаблюдение за инфраструктурой, данными и качеством предсказаний после релиза.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Вызов инструментов
Модель возвращает структурированный запрос к функции, система выполняет его и возвращает результат в контекст.
Разбор ниже: Цикл агентаЦикл наблюдение — действие
Модель действует, видит результат и решает, что делать дальше. Это и отличает агента от одиночного запроса.
Разбор ниже: Цикл агентаПланирование
Разбиение задачи на подзадачи до начала исполнения. Улучшает длинные сценарии, добавляет стоимость.
Ограничение шагов
Жёсткий предел итераций и бюджета: без него агент способен зациклиться и сжечь лимиты.
Разбор ниже: Безопасность агентовИнъекция через инструменты
Вредная инструкция приходит из результата поиска или содержимого страницы. Главный риск безопасности .
Разбор ниже: Безопасность агентовПрофильная компетенция для ролей: LLM-инженер, Продуктовый инженер.
Усиливает профиль: NLP-инженер.
Глава «Генеративный ИИ» последний раз правилась . Нашли ошибку — напишите.