Spark Streaming обработка

Что разбирают и где

Тайм-коды записи, разобранные по темам атласа: под главой стоят темы, которые в ней названы, — из лекции можно уйти в текстовый разбор и вернуться.

Смотреть запись · Spark Streaming обработка

Нажатие на тайм-код перематывает запись, не перезагружая страницу. Открыть на YouTube ↗

1. 0:04Введение в обработку потоковых данных
2. 1:01Инструменты для работы с реальным временем
3. 2:30Модели обработки данных: батч и Event BasedBatch size
4. 3:59Микробатч обработка данныхStateful Stream Processing
5. 4:31Stateful и Stateless обработкаStateful Stream Processing
6. 6:03Понятия latency и throughput
7. 7:44Простой пример обработки текста
8. 8:45Работа с NetCAD и сокетами
9. 10:54Создание Spark Streaming контекстаSpark
10. 12:39Архитектура D-Stream в SparkSpark
11. 15:23Чтение данных из HDFSHDFS and Hadoop
12. 19:25Обработка обновляющихся файлов
13. 25:27Типы приложений в YARNHDFS and Hadoop
14. 26:55WordCount в Spark StreamingSpark
15. 29:17ForEachRDD и аккумуляторыStateful Stream Processing
16. 32:11Проблема независимых батчей
17. 33:12Накопительная сумма чисел
18. 35:37UpdateStateByKey функцияStateful Stream Processing
19. 38:03Чекпоинты в Spark StreamingSpark
20. 44:04Stateful WordCount заданиеStateful Stream Processing
21. 56:13MapReduce расширение во времениMapReduce
22. 1:03:22Порядок применения функций