Поиск
Инженерия данных

Data Contracts

Контракты данных

новинкаНовое или быстро растущее направление

Явная договорённость между источником и потребителем: какие поля, каких типов и с какими гарантиями.

Ключевые тезисы

  • Контракт описывает схему, семантику полей, SLA по свежести и правила изменения.
  • Обратно совместимые изменения (добавление поля) разрешены, ломающие — только через версию.
  • Реестр схем (Schema Registry) делает контракт исполняемым, а не документом на вики.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

1

Что входит в контракт

Договорённость, которую можно проверить автоматически.

  • Схема: поля, типы, обязательность, допустимые значения.
  • Семантика: что именно означает поле и в каких единицах.
  • SLA: частота обновления, максимальная задержка, ожидаемый объём.
  • Правила изменения: что считается обратно совместимым, а что требует новой версии.
  • Владелец: кто отвечает за источник и кому писать при поломке.
2

Как заставить контракт работать

Документ на вики контрактом не является.

  1. Схема описывается машиночитаемо (Avro/Protobuf/JSON Schema) и лежит в реестре.
  2. Продюсер валидирует данные при записи, а не потребитель при чтении.
  3. CI источника падает при ломающем изменении схемы.
  4. Нарушения контракта видны на дашборде и имеют владельца.
На практике

Для ML контракт особенно важен: модель зависит от распределения признаков, а не только от их наличия. Поэтому в контракт полезно включать и ожидаемые статистики.

Связанные темы

Надёжность данных · Безопасность и приватность ML

Data Quality85%

Качество данных · Инженерия данных

Автоматические проверки, которые ловят поломку источника раньше, чем она попадёт в модель.

Idempotency & Exactly-once85%

Идемпотентность и гарантии доставки · Инженерия данных

Что происходит при повторной обработке события и как не задвоить данные.

Change Data Capture85%

Захват изменений (CDC) · Инженерия данных

Чтение журнала изменений базы вместо периодических полных выгрузок.

Feature Stores85%

Хранилища признаков · MLOps

Централизованное хранилище признаков, единое для обучения и онлайн-инференса.

Data leakage85%

Утечка данных · Данные

Ситуация, когда в обучении присутствует информация, недоступная в момент реального предсказания. Главная причина «слишком хороших» метрик.

Data leakage85%

Утечка данных · Практика ML

Самая дорогая ошибка в ML: модель отлично работает офлайн и разваливается в проде.

Data preprocessing85%

Предобработка данных · Данные

Приведение сырых данных к виду, пригодному для обучения: типы, форматы, дубликаты, согласованность единиц измерения.

Privacy and Security70%

Приватность и безопасность · Системный дизайн ML-сервисов

Персональные данные, доступы и специфические для ML риски.

Agents70%

Агенты · Генеративный ИИ

LLM, которая планирует, вызывает инструменты и итеративно движется к цели.

Prompting70%

Промптинг · Генеративный ИИ

Управление поведением модели через формулировку запроса, без изменения весов.

Monitoring70%

Мониторинг · MLOps

Наблюдение за инфраструктурой, данными и качеством предсказаний после релиза.

← Data QualityIdempotency & Exactly-once →