LLM Evaluation — Оценка языковых моделей

Как измерять качество генерации: бенчмарки, оценка моделью-судьёй и человеческие сравнения.

Ключевые тезисы

Автометрики совпадения (BLEU, ROUGE) плохо отражают качество свободного ответа.
LLM-as-judge даёт масштабируемую оценку, но имеет систематические смещения — по длине и позиции.
Минимальный рабочий набор: 50–200 реальных запросов с эталонами и прозрачной рубрикой.

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

От юнит-тестов до людей.

Уровень	Что даёт	Стоимость
Детерминированные проверки	формат, наличие полей, ограничения	почти ноль
LLM-as-judge	оценка качества по рубрике на сотнях примеров	низкая
Человеческая оценка	истина в последней инстанции	высокая

На практике

Начинайте снизу: половина проблем в проде — это невалидный JSON и превышение длины, а не тонкости смысла.

О чём нужно помнить, доверяя автооценке.

Позиционное смещение: первый вариант получает преимущество — меняйте порядок и усредняйте.
Смещение по длине: длинные ответы кажутся лучше — фиксируйте это в рубрике.
Самопредпочтение: модель выше оценивает тексты, похожие на её собственные.
Всегда проверяйте согласие судьи с человеческой оценкой на небольшой выборке.

Работа с корпусами текстов

Автоматическое выделение тем в коллекции документов: от классического LDA до кластеризации эмбеддингов.

Сжатие текста с сохранением смысла: извлекающая (выбор предложений) и абстрактивная (генерация).

Отнесение документа к одной или нескольким категориям: от спам-фильтра до маршрутизации тикетов.

Экспонента кросс-энтропии языковой модели: между сколькими равновероятными вариантами она в среднем выбирает.

Разбиение объектов на группы похожих без заранее известных меток.