Как измерять качество генерации: бенчмарки, оценка моделью-судьёй и человеческие сравнения.
Ключевые тезисы
- Автометрики совпадения (BLEU, ROUGE) плохо отражают качество свободного ответа.
- LLM-as-judge даёт масштабируемую оценку, но имеет систематические смещения — по длине и позиции.
- Минимальный рабочий набор: 50–200 реальных запросов с эталонами и прозрачной рубрикой.
Подробный разбор
| Уровень | Что даёт | Стоимость |
|---|---|---|
| Детерминированные проверки | формат, наличие полей, ограничения | почти ноль |
| LLM-as-judge | оценка качества по рубрике на сотнях примеров | низкая |
| Человеческая оценка | истина в последней инстанции | высокая |
Начинайте снизу: половина проблем в проде — это невалидный JSON и превышение длины, а не тонкости смысла.
- Позиционное смещение: первый вариант получает преимущество — меняйте порядок и усредняйте.
- Смещение по длине: длинные ответы кажутся лучше — фиксируйте это в рубрике.
- Самопредпочтение: модель выше оценивает тексты, похожие на её собственные.
- Всегда проверяйте согласие судьи с человеческой оценкой на небольшой выборке.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Генеративный ИИ» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Работа с корпусами текстов · Качество генерации
Perplexity95%
Перплексия · МетрикиЭкспонента кросс-энтропии языковой модели: между сколькими равновероятными вариантами она в среднем выбирает.
FID and Generation Quality80%
FID и качество генерации · МетрикиМетрики визуальной генерации: расстояние между распределениями признаков реальных и сгенерированных изображений.
Text Generation Metrics80%
Метрики генерации текста · МетрикиBLEU, ROUGE и BERTScore: от совпадения n-грамм до сравнения смыслов через контекстные эмбеддинги.
Cohen's Kappa80%
Каппа Коэна · МетрикиСогласие двух разметчиков или модели с разметкой с поправкой на случайные совпадения.
Video Generation80%
Генерация видео · Генеративный ИИК качеству каждого кадра добавляется временная согласованность: объекты не должны мерцать и менять форму между кадрами.
Topic Modeling75%
Тематическое моделирование · Обработка естественного языкаАвтоматическое выделение тем в коллекции документов: от классического LDA до кластеризации эмбеддингов.
Summarization75%
Суммаризация · Обработка естественного языкаСжатие текста с сохранением смысла: извлекающая (выбор предложений) и абстрактивная (генерация).
Text classification75%
Классификация текстов · Обработка естественного языкаОтнесение документа к одной или нескольким категориям: от спам-фильтра до маршрутизации тикетов.
Clustering75%
Кластеризация · Обучение без учителяРазбиение объектов на группы похожих без заранее известных меток.
Профильная компетенция для ролей: LLM-инженер, Продуктовый инженер.
Спрашивают на собеседовании: Сбер — NLP и LLM, Газпромбанк — Документы и языковые модели, Точка — Ассистенты и поддержка, Positive Technologies — Языковые модели в безопасности, 1С — Помощники в приложениях, Группа Астра — Ассистенты для администраторов, Cloud.ru — Модели как сервис, Т1 — Документы и ассистенты.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Разбор архитектуры, где эта тема — один из кирпичей: требования, развилки, цифры и режимы отказа.
Глава «Генеративный ИИ» последний раз правилась . Нашли ошибку — напишите.