Экспонента : между сколькими равновероятными вариантами она в среднем выбирает.
- средняя по токенам отрицательная логарифмическая вероятность — это кросс-энтропия
- лог-вероятность истинного токена при данном контексте
Ключевые тезисы
- Сравнима только при одинаковом токенизаторе и корпусе.
- Хорошо отслеживает прогресс предобучения и плохо предсказывает полезность в диалоге.
- Для инструктивных моделей заменяется win-rate и оценкой на бенчмарках.
Какую задачу решает
Perplexity измеряет, насколько «удивлена» текстом: это экспонента от средней на . Значение 20 означает, что в каждой позиции модель в среднем колеблется между 20 равновероятными вариантами.
Метрика прямо связана с целью обучения авторегрессионных моделей и потому удобна для отслеживания прогресса и сравнения архитектур. Но с полезностью модели она связана слабо: perplexity зависит от токенизатора и корпуса, а модель, которая лучше предсказывает следующий , не обязательно лучше отвечает на вопросы.
Модель A с словарём в 32 000 даёт perplexity 12, модель B со словарём в 128 000 — 18. Кажется, A лучше. Но у B токены крупнее: одно и то же предложение занимает меньше токенов, и на каждый приходится больше информации, поэтому её perplexity закономерно выше при том же качестве. Корректное сравнение — bits per byte: , нормированная на длину текста в байтах, а не в токенах. Только эта величина не зависит от токенизатора.
Подробный разбор
- энтропия — мера неопределённости распределения
- предсказанная моделью вероятность
- распределение, предсказанное моделью
20 означает, что в среднем модель выбирает между примерно 20 равновероятными продолжениями. Для сравнения: перплексия равномерного выбора по словарю в 50 000 равна 50 000.
- Зависит от токенизатора: одну и ту же модель с разными словарями сравнивать нельзя.
- Зависит от корпуса: на новостях и на коде несравнима.
- Хорошо отслеживает предобучение и почти не связана с качеством ответов после instruction tuning.
- Для чат-моделей используют win-rate против эталона и оценку по рубрикам.
Где применяется
- Отслеживание обученияОсновная метрика на кривой обучения .
- Сравнение архитектурПри одинаковых данных и токенизаторе — корректный способ сравнить модели.
- Оценка адаптации к доменуПадение perplexity на доменном корпусе показывает, что сработало.
- аномального текстаВысокая perplexity указывает на текст, непохожий на обучающее распределение.
Плюсы, минусы и альтернативы
Плюсы
- Прямо связана с целью обучения — считается бесплатно по ходу.
- Не требует разметки: достаточно текста.
- Чувствительна к небольшим улучшениям модели.
- Понятная интерпретация через число вариантов.
Минусы
- Несравнима между моделями с разными токенизаторами и словарями.
- Зависит от корпуса: значения на разных наборах текстов несопоставимы.
- Слабо связана с качеством ответов и полезностью.
- Не применима к моделям, не выдающим вероятности по .
- После выравнивания обычно ухудшается, хотя модель становится полезнее.
Брать, если
- Идёт предобучение или доменная адаптация .
- Нужно сравнить варианты при полностью совпадающих данных и .
Не брать, если
- Оценивается качество ответов ассистента — берите бенчмарки и оценку людьми.
- Сравниваются модели разных семейств.
Чем заменяют
Связанные темы
Работа с корпусами текстов · Качество вероятностей · Качество генерации
LLM Evaluation95%
Оценка языковых моделей · Генеративный ИИКак измерять качество генерации: бенчмарки, оценка моделью-судьёй и человеческие сравнения.
Brier Score85%
Brier Score · МетрикиСреднеквадратичная ошибка предсказанных вероятностей: строгая правильная функция оценки, устойчивее log loss.
Log Loss85%
Логарифмические потери · МетрикиОценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.
Calibration85%
Калибровка · Оценка моделейСоответствие предсказанных вероятностей реальным частотам событий.
Logistic Regression85%
Логистическая регрессия · Классическое машинное обучениеЛинейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.
FID and Generation Quality80%
FID и качество генерации · МетрикиМетрики визуальной генерации: расстояние между распределениями признаков реальных и сгенерированных изображений.
Text Generation Metrics80%
Метрики генерации текста · МетрикиBLEU, ROUGE и BERTScore: от совпадения n-грамм до сравнения смыслов через контекстные эмбеддинги.
Cohen's Kappa80%
Каппа Коэна · МетрикиСогласие двух разметчиков или модели с разметкой с поправкой на случайные совпадения.
Video Generation80%
Генерация видео · Генеративный ИИК качеству каждого кадра добавляется временная согласованность: объекты не должны мерцать и менять форму между кадрами.
Topic Modeling75%
Тематическое моделирование · Обработка естественного языкаАвтоматическое выделение тем в коллекции документов: от классического LDA до кластеризации эмбеддингов.
Summarization75%
Суммаризация · Обработка естественного языкаСжатие текста с сохранением смысла: извлекающая (выбор предложений) и абстрактивная (генерация).
Text classification75%
Классификация текстов · Обработка естественного языкаОтнесение документа к одной или нескольким категориям: от спам-фильтра до маршрутизации тикетов.
Clustering75%
Кластеризация · Обучение без учителяРазбиение объектов на группы похожих без заранее известных меток.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Интерпретация
Эффективное число равновероятных вариантов на каждом шаге. Меньше — увереннее модель.
Разбор ниже: Смысл числаЗависимость от токенизатора
Разное разбиение на даёт разные значения: сравнивать можно только при одинаковой .
Разбор ниже: ОграниченияРазрыв с полезностью
Ниже perplexity не означает лучше на прикладных задачах — особенно после выравнивания.
Разбор ниже: ОграниченияПрофильная компетенция для ролей: LLM-инженер, Продуктовый инженер.
Спрашивают на собеседовании: Яндекс — NLP.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.