над длинными горизонтами: Informer, Autoformer, PatchTST, TFT.
Ключевые тезисы
- Patch-подход режет ряд на окна-токены, снижая вычислительную стоимость.
- TFT добавляет интерпретируемость через веса и .
- На коротких рядах простые всё ещё конкурентоспособны.
Подробный разбор
| Модель | Ключевая идея |
|---|---|
| Informer | разреженное — снижает |
| Autoformer | декомпозиция на тренд и внутри модели |
| PatchTST | ряд режется на патчи-окна, как изображение в |
| TFT | интерпретируемость: веса и |
Важная отрезвляющая работа: на многих стандартных бенчмарках простая линейная модель (DLinear) обыгрывает сложные . Всегда сравнивайте с сильным простым .
| Формула | |
|---|---|
| Наивный | |
| Сезонный наивный | |
| Скользящее среднее | |
| Линейная модель на лагах | обычная регрессия |
Работа «Are Transformers Effective for Time Series Forecasting?» показала, что на ряде популярных бенчмарков простая линейная модель обходит сложные . Это не приговор архитектуре, но обязательная проверка.
Классический над рядом берёт один отсчёт: для длины L это операций и почти нет семантики в отдельном . PatchTST режет ряд на патчи длиной P (как режет изображение на квадраты): токенов становится , а сложность — .
- Патч несёт локальную форму сигнала, а не одно число — работает с осмысленными единицами.
- Channel independence: каналы обрабатываются одной моделью независимо, что резко снижает на многомерных рядах.
- Освободившийся бюджет тратится на длину контекста: PatchTST выигрывает именно на длинных горизонтах.
- Разделение типов входов — то, что отличает TFT от прочих архитектур: статические объекта (регион, тип оборудования), известные наперёд (календарь, план, тариф) и неизвестные в будущем (фактические замеры).
- Variable selection network взвешивает на каждом шаге — из весов видно, что именно определяет прогноз.
- LSTM-энкодер обрабатывает локальную динамику, multi-head attention — дальние зависимости и .
- Квантильная функция потерь даёт не точку, а интервал: P10, P50, P90 прямо на выходе модели.
- предсказание модели
- истинное значение целевой переменной
- распределение, предсказанное моделью
- функция потерь — то, что минимизируется при обучении
Интервал прогноза здесь не бонус, а рабочий инструмент: запаса, ремонтов и мощности ведётся по P90, а не по среднему.
Связанные темы
Внимание и трансформеры · Прогнозирование рядов · Свёртки и физика в рядах
RNN/LSTM97%
RNN/LSTM для рядов · Временные рядыНейросети, обучаемые сразу на множестве связанных рядов, улавливают общие паттерны.
Attention85%
Механизм внимания · Глубокое обучениеКаждая позиция смотрит на все остальные и взвешивает их по релевантности — прямой доступ к контексту без рекуррентности.
Transformers85%
Трансформеры · Глубокое обучениеАрхитектура целиком на внимании: параллельная обработка последовательности вместо пошаговой.
Attention85%
Внимание в NLP · Обработка естественного языкаИзначально придумано, чтобы декодер перевода мог смотреть на нужные слова исходного предложения.
Transformers85%
Трансформеры в NLP · Обработка естественного языкаОснова всех современных языковых моделей: encoder, decoder или их комбинация.
BERT85%
BERT · Обработка естественного языкаДвунаправленный энкодер, предобученный на восстановлении замаскированных токенов.
GPT85%
GPT · Обработка естественного языкаАвторегрессионный декодер: предсказывает следующий токен, что оказалось достаточно универсальной задачей.
Vision Transformers85%
Vision Transformers · Компьютерное зрениеИзображение режется на патчи, которые обрабатываются как последовательность токенов.
LLM85%
Большие языковые модели · Генеративный ИИТрансформеры-декодеры, обученные на огромных корпусах предсказывать следующий токен.
Stationarity85%
Стационарность · Временные рядыПостоянство статистических свойств ряда во времени — предпосылка большинства классических моделей.
Autocorrelation85%
Автокорреляция · Временные рядыСвязь ряда с собственными прошлыми значениями — главный источник признаков и диагностики.
AR / MA / ARIMA85%
AR / MA / ARIMA · Временные рядыКлассическое семейство: авторегрессия, скользящее среднее ошибок и их комбинация с дифференцированием.
SARIMA85%
SARIMA · Временные рядыARIMA с явными сезонными компонентами — для рядов с недельной, месячной или годовой периодикой.
Exponential Smoothing85%
Экспоненциальное сглаживание · Временные рядыВзвешивание прошлых наблюдений с экспоненциально убывающими весами; модель Хольта — Винтерса добавляет тренд и сезонность.
Prophet85%
Prophet · Временные рядыАддитивная модель тренда, сезонностей и праздников с упором на удобство для аналитика.
Feature-based forecasting85%
Прогноз через признаки · Временные рядыРяд превращается в табличную задачу: лаги, скользящие статистики, календарь — и дальше градиентный бустинг.
1D CNN for Time Series80%
Свёртки для временных рядов · Временные рядыОдномерные свёртки скользят вдоль времени и выделяют локальные формы сигнала независимо от того, когда те случились.
Temporal Convolutional Network80%
TCN · Временные рядыСтек причинных свёрток с экспоненциально растущим расширением: длинный контекст без рекуррентности.
Physics-Informed Neural Networks80%
PINN · Временные рядыСеть, у которой в функцию потерь встроены уравнения процесса: решение согласовано с физикой даже там, где данных нет.
CNN80%
Свёрточные сети · Глубокое обучениеРазделяемые фильтры скользят по изображению, выявляя локальные паттерны с трансляционной инвариантностью.
Глава «Временные ряды» последний раз правилась . Нашли ошибку — напишите.