Дизайн ML-систем

ML System Design

Требования, признаки, инференс, нагрузка, эксперименты и деградация

Направление атласа: Инженерия ИИ · Системный дизайн ML. Спрашивают: Selectel. Закрывает проверки: Секция дизайна ML-системы (24).

Тест под секцию ML System Design: с чего начинать разговор, как выбрать архитектуру под бюджет задержки, где хранить признаки, как выкатывать и как понять, что модель испортилась. Продолжение теста — открытые задачи: разбор целиком, как на секции.

15вопросов в заходе
22всего в банке
6осей знаний
~11минут на прохождение
Что спрашивать
Уровень
Требования и метрикиДанные и признакиОбучение и валидацияИнференс и нагрузкаЭкспериментыЭксплуатация
  1. Отвечаете на вопрос — сразу видите разбор, а не только «верно/неверно».
  2. В конце получаете результат по осям и список тем, которые стоит перечитать.
  3. Темы с ошибками ставятся на повторение — кабинет напомнит о них через 3, 7 и 21 день.

Открытые задачи

2 задачи без вариантов ответа — такие дают на собеседовании уровня middle и senior. Ответ проверяется по чек-листу: он остаётся в браузере и не идёт в результат теста.

Секция дизайна: «Спроектируйте систему, которая находит и скрывает мошеннические объявления на классифайде». У вас 45 минут. Как вы построите ответ?

Требования и метрикиMiddle

Десятки миллионов активных объявлений, десятки тысяч новых в час, модерация — 50 человек.

Сначала ответьте — иначе проверка превращается в чтение.

Модель-трансформер отвечает за 400 мс при бюджете 100 мс, трафик — 2000 запросов в секунду. Разберите варианты и скажите, с чего начнёте.

Инференс и нагрузкаSenior

Сначала ответьте — иначе проверка превращается в чтение.