Summarization

Сжатие текста с сохранением смысла: извлекающая (выбор предложений) и абстрактивная (генерация).

Ключевые тезисы

Извлекающая суммаризация безопаснее: она физически не может выдумать факт.
Абстрактивная читается лучше, но требует проверки на фактическую точность.
ROUGE плохо коррелирует с человеческой оценкой — нужна дополнительная проверка faithfulness.

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

	Извлекающая	Абстрактивная
Как работает	выбирает предложения из текста	генерирует новый текст
Риск	нулевой	есть
Читаемость	хуже	лучше
Где применять	юридические и медицинские документы	новости, письма, диалоги

Требовать в цитат и ссылок на фрагменты исходного текста.
Проверять сущности и числа из резюме на присутствие в оригинале автоматически.
Оценка моделью-судьёй по рубрике «есть ли в резюме утверждения, не следующие из текста».

На практике

ROUGE может быть высоким у резюме с выдуманным числом: метрика совпадения n-грамм не проверяет факты. Faithfulness измеряется отдельно.

Работа с корпусами текстов

Автоматическое выделение тем в коллекции документов: от классического LDA до кластеризации эмбеддингов.

Отнесение документа к одной или нескольким категориям: от спам-фильтра до маршрутизации тикетов.

Как измерять качество генерации: бенчмарки, оценка моделью-судьёй и человеческие сравнения.

Экспонента кросс-энтропии языковой модели: между сколькими равновероятными вариантами она в среднем выбирает.

Разбиение объектов на группы похожих без заранее известных меток.

Кому эта тема нужна

Профильная компетенция для роли: NLP-инженер.

Усиливает профиль: Инженер речи.

Проверить себя

Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.

Глава «Обработка естественного языка» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.