Форматы Lakehouse (Iceberg, Hudi, Delta Lake)

Что разбирают и где

Тайм-коды записи, разобранные по темам атласа: под главой стоят темы, которые в ней названы, — из лекции можно уйти в текстовый разбор и вернуться.

Смотреть запись · Форматы Lakehouse (Iceberg, Hudi, Delta Lake)

Нажатие на тайм-код перематывает запись, не перезагружая страницу. Открыть на YouTube ↗

1. 2:36Введение лектора и контекст индустрии
2. 5:41Проблематика и введение в Iceberg и LakehouseWarehouse, Lake, LakehouseOpen Table Formats
3. 7:15Apache Spark и экосистема больших данныхSpark
4. 9:07Архитектура Apache Hive и Hive MetastoreWarehouse, Lake, Lakehouse
5. 10:36Проблемы производительности Hive и ограниченияWarehouse, Lake, Lakehouse
6. 13:36Эволюция компонентов: Hive Metastore как каталогWarehouse, Lake, Lakehouse
7. 15:40Интеграция Spark с Hive каталогомSparkWarehouse, Lake, Lakehouse
8. 18:14Работа с таблицами в Spark и HiveSparkWarehouse, Lake, Lakehouse
9. 20:37Сравнение API Spark: SQL, DataFrame, RDDSpark
10. 23:14Hive Table Format: структура и метаданныеWarehouse, Lake, Lakehouse
11. 24:57Базовые оптимизации: партиционирование и компактизацияOpen Table FormatsPartitioning
12. 27:29Сравнение форматов хранения: CSV, JSON, ParquetFile Formats
13. 32:38Колоночные форматы хранения (Parquet, ORC)File Formats
14. 34:24Практика оптимизаций: партиционирование и бакетированиеPartitioning
15. 38:19Дополнительные оптимизации в Spark (broadcast join, кэширование)CachingSpark
16. 40:54Проблемы Hive Table Format и необходимость LakehouseWarehouse, Lake, Lakehouse
17. 45:42Появление Lakehouse форматов (Iceberg, Hudi, Delta Lake)Open Table FormatsWarehouse, Lake, Lakehouse
18. 47:43Ограничения файловых форматов и цели LakehouseWarehouse, Lake, Lakehouse
19. 49:23Базовый принцип ACID в Lakehouse (data и delete файлы)Warehouse, Lake, Lakehouse
20. 56:11Принцип разделения Storage и Compute
21. 57:41Архитектура Apache Iceberg: метаданные и снапшотыOpen Table Formats
22. 1:00:43Механизм снапшотов и изоляция транзакцийOpen Table Formats
23. 1:03:42Чтение данных через снапшоты и time travelOpen Table Formats
24. 1:05:32Структура метаданных Iceberg: манифесты и статистикиOpen Table Formats
25. 1:06:55Компоненты Iceberg: каталог и metadata layerOpen Table Formats
26. 1:08:02Иерархия метаданных: манифест-листы и манифестыOpen Table Formats
27. 1:09:56Процесс записи и чтения в IcebergOpen Table Formats
28. 1:13:34Эволюция схемы данных в IcebergOpen Table Formats
29. 1:15:11Этапы транзакции записи в IcebergOpen Table Formats
30. 1:17:42Iceberg Catalog: типы и функцииOpen Table Formats
31. 1:20:45Поддержка Iceberg движками (Spark, Trino, ClickHouse)Warehouse, Lake, LakehouseSparkOpen Table Formats
32. 1:22:43Партиционирование и спецификации в IcebergPartitioningOpen Table Formats
33. 1:24:51Типы данных и версии спецификации IcebergOpen Table Formats
34. 1:25:39Типы операций со снапшотами (append, replace, delete)Open Table Formats
35. 1:27:28Обзор движков, поддерживающих IcebergOpen Table Formats
36. 1:28:13Интеграция Iceberg со Spark: библиотеки и time travelOpen Table FormatsSpark
37. 1:30:01Необходимость maintenance (компактизация, удаление версий)Open Table Formats
38. 1:31:17Проблемы Lakehouse: поддержка движками и типы данныхWarehouse, Lake, Lakehouse
39. 1:33:42Практический кейс: построение дата-платформы на IcebergOpen Table Formats
40. 1:34:28Выбор стека: SQL, Trino, Spark, DBT, AirflowSpark
41. 1:38:30Оркестрация пайплайнов: Airflow и DBTOrchestration
42. 1:40:36Коробочные платформы и вендоры LakehouseWarehouse, Lake, Lakehouse
43. 1:41:11ClickHouse как движок для аналитикиWarehouse, Lake, Lakehouse
44. 1:43:12Практические проблемы: мелкие файлы и блокировки транзакций
45. 1:44:41Вопросы защиты и сохранности данных (HDFS, S3)HDFS and Hadoop
46. 1:46:09Выбор хранилища: S3, HDFS и их реализацииHDFS and Hadoop
47. 1:50:19Заключение и организационные вопросы курса