Perplexity

Экспонента кросс-энтропии языковой модели: между сколькими равновероятными вариантами она в среднем выбирает.

P P L = exp (- \frac{1}{N} i \sum lo g p (x_{i} ∣ x_{< i}))

Что означает каждый компонент

$- \frac{1}{N} \sum$ средняя по токенам отрицательная логарифмическая вероятность — это кросс-энтропия
$lo g p (x_{i} ∣ x_{< i})$ лог-вероятность истинного токена при данном контексте

Перплексия 20 ≈ модель в среднем выбирает между 20 равновероятными вариантами

Ключевые тезисы

Сравнима только при одинаковом токенизаторе и корпусе.
Хорошо отслеживает прогресс предобучения и плохо предсказывает полезность в диалоге.
Для инструктивных моделей заменяется win-rate и оценкой на бенчмарках.

Тема также относится к главам:Обработка естественного языкаЯзыковые модели Генеративный ИИОценка

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Смысл числа

Сколько вариантов модель «держит в голове».

P P L = 2^{H (p, q)}

Обозначения

$H (p)$ энтропия — мера неопределённости распределения
$p$ предсказанная моделью вероятность
$q$ распределение, предсказанное моделью

Пример

Перплексия 20 означает, что в среднем модель выбирает между примерно 20 равновероятными продолжениями. Для сравнения: перплексия равномерного выбора по словарю в 50 000 токенов равна 50 000.

Ограничения

Почему перплексия — не мера полезности.

Зависит от токенизатора: одну и ту же модель с разными словарями сравнивать нельзя.
Зависит от корпуса: перплексия на новостях и на коде несравнима.
Хорошо отслеживает предобучение и почти не связана с качеством ответов после instruction tuning.
Для чат-моделей используют win-rate против эталона и оценку по рубрикам.

Связанные темы

Работа с корпусами текстов · Качество вероятностей

Ключевые тезисы

Подробный разбор

Смысл числа

Ограничения

Связанные темы

Brier Score85%

Log Loss85%

Calibration85%

Logistic Regression85%

Topic Modeling75%

Summarization75%

Text classification75%

LLM Evaluation75%

Clustering75%