Облачные ML-сервисы, модели как сервис, платформа для обучения
Облачный провайдер с большим направлением ИИ-сервисов: доступ к моделям по API, платформа для обучения и дообучения, инструменты для работы с данными. Специфика работы — вы строите то, чем пользуются другие ML-команды, поэтому вопросы на собеседовании смещены от «как обучить модель» к «как сделать, чтобы тысяча клиентов обучала модели одновременно».
Порядок и состав секций меняются от команды к команде — это типовая схема, собранная по открытым источникам. Этапы, на которых проверяют знания, ведут в разбор формата: что оценивают и чем закрывать пробелы.
Рекрутер уточняет направление: ИИ-сервисы и модели по API, платформа обучения, инфраструктура данных.
Алгоритмическая секция: структуры данных, сложность, аккуратный код.
Для сервисов с языковыми моделями — секция по LLM: дообучение, обслуживание, оценка, стоимость токена.
Секция по эксплуатации: выкат, мониторинг, изоляция клиентов, воспроизводимость.
Дизайн-секция: мультиарендный сервис инференса или платформа дообучения целиком.
Команда, задачи, уровень.
4 формата проверки из отбора Cloud.ru — и тест атласа под каждый. Слабые места видно сразу после захода, а темы для разбора собираются автоматически.
Живое кодирование: решение вслух и код в редакторе
На чём валятсяДообучение, поиск с генерацией, оценка и стоимость
На чём валятсяПайплайны, выкат, мониторинг, дрейф и воспроизводимость
На чём валятсяОт постановки до эксплуатации на одной доске
На чём валятся19 тем по всем направлениям Cloud.ru — если команда ещё не выбрана. Программа разложит их по неделям от математики к продакшену; под конкретное направление список короче, и его можно собрать ниже.
Эти 19 тем можно разложить по неделям: программа выстроит их от математики к продакшену, поставит тест в конце каждой недели и вернёт тему на повторение, если вы в ней ошиблись. Выйдет примерно 4 недели под Cloud.ru · Все направления.
Проверяем, вошли ли вы…
Выберите направление: обязательные темы со ссылками в атлас, типовые вопросы с ответами и тест для самопроверки.
Обслуживание языковых и мультимодальных моделей по API: квоты, задержка, стоимость, безопасность. Специфика — непредсказуемый профиль запросов и требование одинакового качества обслуживания для всех клиентов.
Эти 10 тем можно разложить по неделям: программа выстроит их от математики к продакшену, поставит тест в конце каждой недели и вернёт тему на повторение, если вы в ней ошиблись. Выйдет примерно 2 недели под Cloud.ru · Модели как сервис.
Проверяем, вошли ли вы…
Память карты и KV-кеш: число одновременных последовательностей ограничено именно им, а не вычислениями. Отсюда непрерывный батчинг, вытеснение и приоритеты, ограничение длины контекста и раздельные пулы для коротких и длинных запросов.
Разбор в атласе: LLM Serving — Обслуживание LLM →Квоты и изоляция: ограничение по токенам в единицу времени, отдельные очереди по классам запросов, приоритеты и справедливое планирование. Без этого один потребитель съедает кеш карты и портит задержку всем — классическая проблема мультиарендности.
Разбор в атласе: Scaling — Масштабирование →Разделять метрики: время до первого токена и скорость генерации — это разные обещания. Первое зависит от очереди и длины запроса, второе — от загруженности карты. SLA формулируют по квантилям каждой метрики отдельно, иначе обещание невыполнимо.
Разбор в атласе: Requirements and SLA — Требования и SLA →Точный режим: хранятся ли запросы, сколько, кто имеет доступ, используются ли для дообучения и как отказаться. Это часть архитектуры — журналирование и изоляция должны быть спроектированы так, чтобы ответ был честным и проверяемым.
Разбор в атласе: Privacy and Security — Приватность и безопасность →