Автоматические проверки, которые ловят поломку источника раньше, чем она попадёт в модель.
Ключевые тезисы
- Проверяйте объём, свежесть, долю пропусков, уникальность ключей и распределения.
- Great Expectations, Soda, dbt tests — готовые инструменты для описания проверок.
- Правило: пайплайн должен падать при нарушении контракта, а не тихо писать мусор.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Базовый набор проверок
Что стоит проверять на каждом запуске.
| Проверка | Пример правила |
|---|---|
| Свежесть | максимальная дата не старше 26 часов |
| Объём | число строк в пределах ±30% от медианы за 7 дней |
| Уникальность | нет дублей по первичному ключу |
| Полнота | доля NULL в ключевых полях ниже порога |
| Диапазоны | сумма ≥ 0, вероятность в [0,1] |
| Ссылочная целостность | все user_id есть в таблице пользователей |
2Падать громко
Почему тихая деградация хуже отказа.
Если источник отдал половину данных, а пайплайн молча их записал, модель обучится на искажённой выборке и будет портить решения неделями. Упавший джоб чинят за час; тихий сдвиг находят через квартал по жалобам бизнеса.
Разделяйте критичные проверки (останавливают пайплайн) и предупреждающие (пишут алерт, но пропускают данные). Всё подряд делать блокирующим — верный способ научить команду игнорировать алерты.
Связанные темы
Надёжность данных
Data Contracts85%
Контракты данных · Инженерия данныхЯвная договорённость между источником и потребителем: какие поля, каких типов и с какими гарантиями.
Idempotency & Exactly-once85%
Идемпотентность и гарантии доставки · Инженерия данныхЧто происходит при повторной обработке события и как не задвоить данные.
Change Data Capture85%
Захват изменений (CDC) · Инженерия данныхЧтение журнала изменений базы вместо периодических полных выгрузок.
Feature Stores85%
Хранилища признаков · MLOpsЦентрализованное хранилище признаков, единое для обучения и онлайн-инференса.
Data leakage85%
Утечка данных · ДанныеСитуация, когда в обучении присутствует информация, недоступная в момент реального предсказания. Главная причина «слишком хороших» метрик.
Data leakage85%
Утечка данных · Практика MLСамая дорогая ошибка в ML: модель отлично работает офлайн и разваливается в проде.
Data preprocessing85%
Предобработка данных · ДанныеПриведение сырых данных к виду, пригодному для обучения: типы, форматы, дубликаты, согласованность единиц измерения.