Summarization — Суммаризация

Сжатие текста с сохранением смысла: извлекающая (выбор предложений) и абстрактивная (генерация).

Ключевые тезисы

Извлекающая суммаризация безопаснее: она физически не может выдумать факт.
Абстрактивная читается лучше, но требует проверки на фактическую точность.
ROUGE плохо коррелирует с человеческой оценкой — нужна дополнительная проверка faithfulness.

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Безопасность против читаемости.

	Извлекающая	Абстрактивная
Как работает	выбирает предложения из текста	генерирует новый текст
Риск галлюцинаций	нулевой	есть
Читаемость	хуже	лучше
Где применять	юридические и медицинские документы	новости, письма, диалоги

Главная метрика, которую забывают считать.

Требовать в промпте цитат и ссылок на фрагменты исходного текста.
Проверять сущности и числа из резюме на присутствие в оригинале автоматически.
Оценка моделью-судьёй по рубрике «есть ли в резюме утверждения, не следующие из текста».

На практике

ROUGE может быть высоким у резюме с выдуманным числом: метрика совпадения n-грамм не проверяет факты. Faithfulness измеряется отдельно.

Работа с корпусами текстов

Автоматическое выделение тем в коллекции документов: от классического LDA до кластеризации эмбеддингов.

Отнесение документа к одной или нескольким категориям: от спам-фильтра до маршрутизации тикетов.

Как измерять качество генерации: бенчмарки, оценка моделью-судьёй и человеческие сравнения.

Экспонента кросс-энтропии языковой модели: между сколькими равновероятными вариантами она в среднем выбирает.

Разбиение объектов на группы похожих без заранее известных меток.