ETL vs ELT

Преобразовывать данные до загрузки или уже внутри хранилища — и почему индустрия сместилась ко второму.

Ключевые тезисы

• ELT: грузим сырое, трансформируем SQL внутри хранилища — проще отлаживать и переигрывать.
• Сырой слой нужно сохранять всегда: он позволяет пересчитать витрины после исправления логики.
• Слои bronze / silver / gold — удобная и распространённая организация.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

-- models/silver/orders.sql
{{ config(materialized='incremental', unique_key='order_id') }}
SELECT order_id, user_id, amount, event_ts::date AS event_date
FROM {{ source('raw', 'orders') }}
{% if is_incremental() %}
  WHERE event_ts > (SELECT max(event_ts) FROM {{ this }})
{% endif %}

Связанные темы

Платформа данных