Data Engineer — кто это и чем занимается
Данные приезжают вовремя, полностью и в нужном виде
Data Engineer (инженер данных) — специалист, который строит платформу данных: источники, пайплайны загрузки, хранилище, качество и контракты. Без него у моделей нет ни признаков, ни доверия к ним.
Также встречается как дата-инженер, инженер данных, Data Engineer, инженер платформы данных · 8 ключевых компетенций · оси знаний: MLOps
Чем занимается Data Engineer
Строит платформу данных: источники, пайплайны, хранилище, качество. Без него у моделей нет ни признаков, ни доверия к ним.
- Собирает пайплайны загрузки из источников в хранилище и ставит их на расписание.
- Проектирует схему хранения и партиционирование под то, как данные потом читают.
- Держит батч и потоковую обработку: Kafka, Spark, идемпотентность повторных запусков.
- Ставит проверки качества на входе и договаривается с источником о контракте данных.
- Разбирает падения загрузок и восстанавливает данные за пропущенный период.
- Строит хранилище признаков, чтобы обучение и онлайн видели одно и то же.
Что нужно знать
Ядро профессии: без этих компетенций роль не складывается. У каждой — темы атласа, с которых её разбирают.
- Аналитический SQLядроось: MLOps и инженерия
Оконные функции, агрегаты, чтение больших таблиц без боли.
- Подготовка данныхядроось: Классический ML
Пропуски, выбросы, приведение типов и масштабов.
- Потоковые данныеядроось: MLOps и инженерия
Батч и стриминг, Kafka, Spark.
- Качество и контракты данныхядроось: MLOps и инженерия
Проверки на входе и договорённости с источником.
- Пайплайны и оркестрацияядроось: MLOps и инженерия
Воспроизводимая цепочка шагов и расписание запусков.
- Docker и Kubernetesядроось: MLOps и инженерия
Одинаковое окружение и управляемая выкатка сервисов.
- Хранилище признаковядроось: MLOps и инженерия
Одинаковые признаки в обучении и в онлайне.
- Системный дизайн MLядроось: MLOps и инженерия
Требования, масштабирование и экономика сервиса.
Уровни: junior, middle, senior
За что отвечает Data Engineer на каждом уровне — этим и отличается грейд.
Оси знаний и плановые метки
Насколько направление профильно для роли и какой результат теста ожидается на каждом уровне. Проценты — плановые метки карьерного атласа, а не порог найма.
| Ось знаний | Значимость | Junior | Middle | Senior |
|---|---|---|---|---|
| Статистика и вероятность | рабочая | 40% | 60% | 73% |
| Классический ML | рабочая | 40% | 60% | 73% |
| Глубокое обучение | обзорно | 25% | 45% | 58% |
| NLP | обзорно | 25% | 45% | 58% |
| Генеративный ИИ и LLM | обзорно | 25% | 45% | 58% |
| Computer Vision | обзорно | 25% | 45% | 58% |
| Временные ряды | обзорно | 25% | 45% | 58% |
| Рекомендательные системы | обзорно | 25% | 45% | 58% |
| Речь: ASR и TTS | обзорно | 25% | 45% | 58% |
| MLOps и инженерия | профильная | 55% | 75% | 88% |
Как войти в профессию
Приходят из бэкенда и из аналитики. Ядро — SQL и понимание хранилищ, дальше оркестрация, потоковая обработка, качество данных и контейнеризация. Машинное обучение здесь обзорное: важно знать, зачем моделям признаки, а не как обучать сети.
Смежные роли и с чем путают
Куда легче всего перейти и от кого эту профессию чаще всего не отличают.
Вопросы о профессии
Нужно ли дата-инженеру машинное обучение?
На уровне понимания задачи — да: что такое признак, почему утечка данных ломает модель, зачем офлайн и онлайн должны совпадать. Обучать модели самому обычно не требуется.
Чем дата-инженер отличается от MLOps-инженера?
Предметом. Дата-инженер отвечает за поток данных, MLOps-инженер — за поток моделей. На практике они соседи и часто делят хранилище признаков и оркестратор.
Что учить первым?
Аналитический SQL и устройство хранилища: партиционирование, форматы, стоимость чтения. Оркестрация и стриминг ложатся на это сверху.
Batch или streaming?
Начинать стоит с батча — на нём видно всю механику пайплайна. Потоковая обработка нужна, когда задержка данных становится частью требований продукта.
Насколько важны контракты данных?
Это то, что отличает платформу от набора скриптов. Проверки на входе и договорённость с источником ловят большую часть инцидентов до того, как они дойдут до моделей и отчётов.