Автоматическое выделение тем в коллекции документов: от классического LDA до .
Ключевые тезисы
- LDA описывает документ как смесь тем, а тему — как распределение слов.
- Число тем подбирают по когерентности, а не по правдоподобию.
- BERTopic ( + UMAP + HDBSCAN) обычно даёт более связные темы на коротких текстах.
Подробный разбор
Документ порождается как смесь тем, тема — как распределение слов. Обучение ( или сэмплирование Гиббса) восстанавливает обе : «документы × темы» и «темы × слова».
- Число тем — главный ; подбирают по когерентности тем, а не по правдоподобию.
- Требует лемматизации и удаления стоп-слов, иначе темы получаются мусорными.
- На коротких текстах (отзывы, посты) работает плохо — не хватает статистики.
- Посчитать документов.
- Снизить размерность (UMAP).
- Кластеризовать (HDBSCAN).
- Описать кластер ключевыми словами через c-TF-IDF.
Такой подход (BERTopic) даёт более связные темы, работает на коротких текстах и умеет помечать документы как шум — чего LDA не умеет принципиально.
Связанные темы
Работа с корпусами текстов
Summarization75%
Суммаризация · Обработка естественного языкаСжатие текста с сохранением смысла: извлекающая (выбор предложений) и абстрактивная (генерация).
Text classification75%
Классификация текстов · Обработка естественного языкаОтнесение документа к одной или нескольким категориям: от спам-фильтра до маршрутизации тикетов.
LLM Evaluation75%
Оценка языковых моделей · Генеративный ИИКак измерять качество генерации: бенчмарки, оценка моделью-судьёй и человеческие сравнения.
Perplexity75%
Перплексия · МетрикиЭкспонента кросс-энтропии языковой модели: между сколькими равновероятными вариантами она в среднем выбирает.
Clustering75%
Кластеризация · Обучение без учителяРазбиение объектов на группы похожих без заранее известных меток.
Глава «Обработка естественного языка» последний раз правилась . Нашли ошибку — напишите.