Продукты на данных, отток и маркетинг, платформа больших данных
Оператор с одним из старейших в стране подразделений больших данных: на данных строятся не только внутренние модели, но и продукты для внешних заказчиков — геоаналитика, скоринговые сервисы, таргетирование. Отсюда в отборе заметная доля вопросов про инженерию: данные здесь не только вход модели, но и сам товар.
Порядок и состав секций меняются от команды к команде — это типовая схема, собранная по открытым источникам. Этапы, на которых проверяют знания, ведут в разбор формата: что оценивают и чем закрывать пробелы.
Рекрутер уточняет направление: внутренние модели, продукты на данных для внешних клиентов, платформа.
SQL-секция: витрины абонентов и событий, оконные функции, стоимость запроса.
Секция по инженерии данных: пайплайны на больших объёмах, потоки, качество и регламенты.
ML-секция: модели на табличных данных, валидация во времени, метрики и их смысл для заказчика.
На middle+ — дизайн: сервис на данных с внешним потребителем, включая приватность и SLA.
Руководитель: задачи, уровень, работа с внутренними и внешними заказчиками.
4 формата проверки из отбора билайн — и тест атласа под каждый. Слабые места видно сразу после захода, а темы для разбора собираются автоматически.
Соединения, оконные функции и цена запроса на большой таблице
На чём валятсяПайплайны, потоки, идемпотентность и качество данных
На чём валятсяКлассика табличных задач и честная проверка качества
На чём валятсяОт постановки до эксплуатации на одной доске
На чём валятся19 тем по всем направлениям билайн — если команда ещё не выбрана. Программа разложит их по неделям от математики к продакшену; под конкретное направление список короче, и его можно собрать ниже.
Эти 19 тем можно разложить по неделям: программа выстроит их от математики к продакшену, поставит тест в конце каждой недели и вернёт тему на повторение, если вы в ней ошиблись. Выйдет примерно 4 недели под билайн · Все направления.
Проверяем, вошли ли вы…
Выберите направление: обязательные темы со ссылками в атлас, типовые вопросы с ответами и тест для самопроверки.
Сервисы для внешних заказчиков: геоаналитика потоков, оценка аудитории, скоринговые признаки. Специфика — жёсткие требования к приватности, к стабильности поставки и к воспроизводимости расчёта.
Эти 10 тем можно разложить по неделям: программа выстроит их от математики к продакшену, поставит тест в конце каждой недели и вернёт тему на повторение, если вы в ней ошиблись. Выйдет примерно 2 недели под билайн · Продукты на данных.
Проверяем, вошли ли вы…
Только агрегатами с минимальным размером группы и подавлением малых ячеек; при необходимости — добавление шума по принципам дифференциальной приватности. Отдельно контролируется композиция: несколько безопасных по отдельности срезов вместе могут восстановить индивидуальные данные.
Разбор в атласе: Differential Privacy — Дифференциальная приватность →Срок поставки, полнота, стабильность схемы и правила уведомления об изменениях — это контракт данных. Плюс проверки качества до публикации: лучше отдать вчерашние данные с пометкой, чем сегодняшние с половиной строк.
Разбор в атласе: Data Contracts — Контракты данных →С профиля: где именно уходит время. Обычно это перемешивание при соединениях и перекос по ключу. Помогают фильтрация до соединения, трансляция маленьких таблиц, пересмотр ключа разбиения и предварительная агрегация. Добавление ресурсов без разбора чаще всего не помогает.
Разбор в атласе: Spark — Spark →Мониторингом на выходе: объём против исторического профиля, свежесть, доля пропусков в ключевых полях, распределение основных срезов. Успешное завершение задачи ничего не гарантирует — данные могут приехать корректные по форме и неполные по сути.
Разбор в атласе: Data Quality — Качество данных →