Поток без памяти умеет фильтровать и преобразовывать. Как только нужны счётчики, окна и соединения, появляется состояние — и все сложности вместе с ним.
Ключевые тезисы
- Состояние надо где-то хранить и восстанавливать после падения — отсюда контрольные точки.
- Окна бывают падающими, скользящими и сессионными; выбор определяет и смысл метрики, и объём состояния.
- Гарантия достигается не магией, а идемпотентностью либо транзакционной записью.
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Кому эта тема нужна
Собрать учебную программуСпрашивают на собеседовании: BI.ZONE — Данные и аналитика угроз.
Глава «Инженерия данных» последний раз правилась . Нашли ошибку — напишите.