SQL и инженерия данных

SQL & Data Engineering

Оконные функции, хранилище, пайплайны, потоки и качество данных

Направление атласа: Инженерия ИИ · Инженерия данных. Спрашивают: ВТБ, билайн, BI.ZONE, Arenadata. Закрывает проверки: Секция по Python и работе с данными (7), SQL-секция (20), Секция по инженерии данных (4).

Тест под SQL-секцию и разговор про данные: оконные функции и соединения, разбиение и форматы хранения, батч против потока, идемпотентность перезапуска и проверки качества. То, что спрашивают до вопросов о моделях.

15вопросов в заходе
24всего в банке
6осей знаний
~11минут на прохождение
Что спрашивать
Уровень
SQLХранилище и форматыПайплайныПотокиКачество данныхРаспределённые вычисления
  1. Отвечаете на вопрос — сразу видите разбор, а не только «верно/неверно».
  2. В конце получаете результат по осям и список тем, которые стоит перечитать.
  3. Темы с ошибками ставятся на повторение — кабинет напомнит о них через 3, 7 и 21 день.

Открытые задачи

2 задачи без вариантов ответа — такие дают на собеседовании уровня middle и senior. Ответ проверяется по чек-листу: он остаётся в браузере и не идёт в результат теста.

На SQL-секции просят посчитать конверсию из просмотра в покупку по дням и найти, где она просела. Как вы построите запрос и что проверите до выводов?

SQLMiddle

Есть таблица событий (пользователь, тип события, время) на сотни миллионов строк в сутки и таблица заказов.

Сначала ответьте — иначе проверка превращается в чтение.

Ночной пайплайн, готовящий обучающую выборку, падает раз в неделю, и каждое утро его перезапускают руками. Как сделать так, чтобы перезапуск перестал быть событием?

ПайплайныSenior

Сначала ответьте — иначе проверка превращается в чтение.