КабинетПоиск
Обработка естественного языка

RNN/LSTM for NLP

RNN/LSTM в NLP

классикаНиша: маленькие модели без GPU; иначе трансформеры.

Направления: Глубокое обучение · Рекуррентные сети, Прикладные направления · NLP

Первое поколение нейросетевых моделей языка: последовательная обработка со скрытым состоянием.

Ключевые тезисы

  • Двунаправленные версии видят контекст слева и справа.
  • Долго были стандартом для и разметки последовательностей.
  • Уступили из-за отсутствия параллелизма и ограниченной памяти.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

  • Классификация: последнее скрытое состояние (или его max/mean-пулинг) подаётся в линейный слой.
  • Разметка (NER): на каждом шаге свой выход; сверху часто ставили CRF для согласованности меток.
  • BiLSTM: два прохода — слева направо и справа налево — дают контекст с обеих сторон.
На практике

BiLSTM-CRF долгие годы был стандартом для и до сих пор остаётся разумным выбором, когда нужна маленькая быстрая модель без .

Сеть предсказывает метку каждого независимо, поэтому может выдать невозможную последовательность вроде I-PER сразу после O. CRF моделирует переходы между метками и выбирает наиболее правдоподобную последовательность целиком.

Обозначения
  • истинное значение целевой переменной
  • объект: вектор признаков
  • суммирование по всем перечисленным элементам
Декодирование — алгоритм Витерби по этой сумме

Связанные темы

Последовательные модели

RNN80%

Рекуррентные сети · Глубокое обучение

Обрабатывают последовательность шаг за шагом, перенося скрытое состояние между позициями.

LSTM80%

LSTM · Глубокое обучение

Рекуррентная ячейка с состоянием и тремя вентилями, решающая проблему долгосрочной памяти.

GRU80%

GRU · Глубокое обучение

Упрощённая LSTM: два вентиля вместо трёх и отсутствие отдельного cell state.

Sequence-to-Sequence80%

Seq2Seq · Обработка естественного языка

Схема «энкодер сжимает вход — декодер порождает выход» для перевода, суммаризации и диалога.

RNN/LSTM80%

RNN/LSTM для рядов · Временные ряды

Нейросети, обучаемые сразу на множестве связанных рядов, улавливают общие паттерны.

Backpropagation80%

Обратное распространение ошибки · Глубокое обучение

Эффективное вычисление градиентов по всем параметрам сети за один обратный проход с помощью правила цепочки.

Следующий шагДальше по связи: RNNОбрабатывают последовательность шаг за шагом, перенося скрытое состояние между позициями.Перейти →
← EmbeddingsAttention →

Глава «Обработка естественного языка» последний раз правилась . Нашли ошибку — напишите.