Три способа хранить аналитические данные: строгая схема, сырые файлы или гибрид с транзакциями поверх объектного хранилища.
Ключевые тезисы
- Warehouse (ClickHouse, BigQuery) — схема при записи, быстрые запросы, дороже хранение.
- Lake (S3 + Parquet) — схема при чтении, дёшево и гибко, но легко превращается в свалку.
- (Delta, ) добавляет к озеру транзакции, версии и time travel.
Подробный разбор
| Warehouse | Lake | ||
|---|---|---|---|
| Схема | при записи | при чтении | при записи, гибко |
| Стоимость хранения | высокая | низкая | низкая |
| Транзакции | есть | нет | есть |
| Типы данных | структурированные | любые | любые |
| Типичный | ClickHouse, BigQuery | S3 + Parquet | Delta, |
Для ML критична возможность получить срез данных на прошлую дату. даёт это из коробки (), в озере это придётся организовывать партициями и снапшотами.
- Bronze: сырые данные как пришли, без изменений. Нужны для пересчёта после исправления логики.
- Silver: очищенные, типизированные, дедуплицированные таблицы.
- Gold: витрины под конкретные задачи — отчёты, для моделей.
Модель обучается на gold-слое, но воспроизводимость обеспечивает bronze: если через полгода выяснится ошибка в трансформации, историю можно пересчитать.
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Платформа данных
File Formats80%
Форматы хранения · Инженерия данныхКолоночные форматы против строковых: почему Parquet почти всегда лучше CSV для аналитики.
Partitioning80%
Партиционирование · Инженерия данныхРазделение данных по ключу (обычно по дате), чтобы запрос читал минимум файлов.
Analytical SQL80%
Аналитический SQL · Инженерия данныхОконные функции, агрегации и CTE — основной инструмент подготовки признаков на больших данных.
ETL vs ELT80%
ETL и ELT · Инженерия данныхПреобразовывать данные до загрузки или уже внутри хранилища — и почему индустрия сместилась ко второму.
Batch and Streaming80%
Батч и стриминг · Инженерия данныхОбработка по расписанию против непрерывной обработки событий. Разные задержки, разные гарантии, разная стоимость.
Orchestration80%
Оркестрация пайплайнов · Инженерия данныхПланировщик, который знает зависимости между задачами, повторяет упавшие и не даёт запускать одно и то же дважды.
Spark80%
Spark · Инженерия данныхРаспределённая обработка больших объёмов данных: тот случай, когда данные не помещаются на одну машину.
Kafka80%
Kafka · Инженерия данныхРаспределённый журнал событий: основа потоковой архитектуры и источник данных для онлайн-признаков.
ML Pipelines80%
ML-пайплайны · MLOpsОформление обучения как воспроизводимой последовательности шагов вместо разрозненных ноутбуков.
Data Versioning80%
Версионирование данных · MLOpsДанные меняются чаще кода — без их версий эксперимент не воспроизвести.
Профильная компетенция для ролей: Аналитик данных, Data Engineer.
Усиливает профиль: Data Scientist, ML Engineer, MLOps-инженер, Продуктовый инженер.
Спрашивают на собеседовании: ВТБ — Данные и витрины, Arenadata — Платформа данных.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Инженерия данных» последний раз правилась . Нашли ошибку — напишите.