Упрощённая LSTM: два вентиля вместо трёх и отсутствие отдельного cell state.
Ключевые тезисы
- Меньше параметров, быстрее обучение при сопоставимом качестве.
- Часто выигрывает на небольших выборках.
- Выбор между GRU и LSTM почти всегда решается экспериментом.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1GRU против LSTM
Два вентиля вместо трёх — что теряется и что выигрывается.
- сигмоида: сжимает число в интервал от 0 до 1
- награда, полученная агентом на шаге
- объект: вектор признаков
| LSTM | GRU | |
|---|---|---|
| Вентилей | 3 | 2 |
| Отдельное состояние ячейки | есть | нет |
| Параметров | больше на ~33% | меньше |
| Когда лучше | длинные зависимости, много данных | малые выборки, ограничения по скорости |
2Как выбрать между GRU и LSTM
Ответ почти всегда даёт эксперимент, но есть ориентиры.
- Мало данных или жёсткие ограничения по скорости — начните с GRU.
- Очень длинные зависимости и большой корпус — LSTM чаще выигрывает.
- Разница в качестве обычно в пределах 1–2%, разница в скорости — до 25%.
- Если задача допускает параллелизм и данных много, сравните обе с трансформерным бейзлайном.
Связанные темы
Последовательные модели
RNN80%
Рекуррентные сети · Глубокое обучениеОбрабатывают последовательность шаг за шагом, перенося скрытое состояние между позициями.
LSTM80%
LSTM · Глубокое обучениеРекуррентная ячейка с состоянием и тремя вентилями, решающая проблему долгосрочной памяти.
RNN/LSTM for NLP80%
RNN/LSTM в NLP · Обработка естественного языкаПервое поколение нейросетевых моделей языка: последовательная обработка токенов со скрытым состоянием.
Sequence-to-Sequence80%
Seq2Seq · Обработка естественного языкаСхема «энкодер сжимает вход — декодер порождает выход» для перевода, суммаризации и диалога.
RNN/LSTM80%
RNN/LSTM для рядов · Временные рядыНейросети, обучаемые сразу на множестве связанных рядов, улавливают общие паттерны.
Backpropagation80%
Обратное распространение ошибки · Глубокое обучениеЭффективное вычисление градиентов по всем параметрам сети за один обратный проход с помощью правила цепочки.