Платформа данных, распределённые вычисления, ML на данных заказчика
Разработчик платформы управления данными: хранилища, озёра, потоковая обработка, инструменты аналитики. Здесь ML-инженер работает не столько с моделями, сколько с тем, что под ними: как данные хранятся, как считаются признаки на объёмах в петабайты и как это всё живёт у заказчика. Отбор соответствующий — инженерия данных весит больше, чем модели.
Порядок и состав секций меняются от команды к команде — это типовая схема, собранная по открытым источникам. Этапы, на которых проверяют знания, ведут в разбор формата: что оценивают и чем закрывать пробелы.
Рекрутер уточняет направление: ядро платформы, инструменты аналитики, внедрение у заказчиков.
Алгоритмическая секция: структуры данных, сложность, понимание работы с памятью и диском.
SQL-секция с уклоном в исполнение: как запрос выполняется, что такое план, где возникает перемешивание.
Секция по инженерии данных: хранилища и форматы, потоки, качество, распределённые вычисления.
На middle+ — дизайн: как устроить расчёт признаков и обучение на данных, которые не помещаются в память.
Руководитель: задачи, уровень, работа с внедрениями.
4 формата проверки из отбора Arenadata — и тест атласа под каждый. Слабые места видно сразу после захода, а темы для разбора собираются автоматически.
Живое кодирование: решение вслух и код в редакторе
На чём валятсяСоединения, оконные функции и цена запроса на большой таблице
На чём валятсяПайплайны, потоки, идемпотентность и качество данных
На чём валятсяОт постановки до эксплуатации на одной доске
На чём валятся20 тем по всем направлениям Arenadata — если команда ещё не выбрана. Программа разложит их по неделям от математики к продакшену; под конкретное направление список короче, и его можно собрать ниже.
Эти 20 тем можно разложить по неделям: программа выстроит их от математики к продакшену, поставит тест в конце каждой недели и вернёт тему на повторение, если вы в ней ошиблись. Выйдет примерно 4 недели под Arenadata · Все направления.
Проверяем, вошли ли вы…
Выберите направление: обязательные темы со ссылками в атлас, типовые вопросы с ответами и тест для самопроверки.
Хранение и обработка больших данных: форматы, разбиение, запросы, потоки. Специфика — задачи упираются не в модель, а в физику: диск, сеть, память, распределение работы.
Эти 10 тем можно разложить по неделям: программа выстроит их от математики к продакшену, поставит тест в конце каждой недели и вернёт тему на повторение, если вы в ней ошиблись. Выйдет примерно 2 недели под Arenadata · Платформа данных.
Проверяем, вошли ли вы…
Из-за перемешивания: строки с одинаковым ключом должны оказаться на одном узле, а это сеть и диск. Уменьшают трансляцией маленькой таблицы, совместным разбиением по ключу соединения, предварительной агрегацией и фильтрацией до соединения. Это первое, что спрашивают в такой секции.
Разбор в атласе: Spark — Spark →Неравномерное распределение по ключу: одна партиция получает большую часть строк, и вся задача ждёт одного исполнителя. Приёмы — соль к ключу с последующей доагрегацией, отдельная обработка тяжёлых ключей, трансляция. Увеличение ресурсов не помогает, потому что узкое место — одна задача.
Разбор в атласе: Partitioning — Партиционирование →Чтобы получить атомарность записи, эволюцию схемы и снимки: читатель не должен видеть половину записи, а разработчик — переписывать всю таблицу ради нового поля. Плюс возможность читать состояние на момент времени, что важно и для отладки, и для воспроизводимости обучения.
Разбор в атласе: Open Table Formats — Табличные форматы озера →Хешированием ключа по кольцу: согласованное хеширование позволяет добавлять и убирать узлы, перемещая лишь часть данных, а не всё. Понимание этого нужно, чтобы отвечать на практический вопрос — что произойдёт при расширении кластера и почему часть запросов замедлится.
Разбор в атласе: Consistent Hashing — Консистентное хеширование →