Что происходит, когда модель недоступна, отвечает медленно или выдаёт мусор.
Ключевые тезисы
- Таймаут и фолбэк на простое правило — обязательный минимум.
- Circuit breaker отключает проблемную зависимость и даёт ей восстановиться.
- Валидация выхода модели: NaN, значения вне диапазона и пустые ответы должны отсекаться до пользователя.
Подробный разбор
- предыдущее предсказание для этого объекта.
- Предсказание более простой и быстрой модели.
- Эвристическое правило или среднее по сегменту.
- Явный отказ с понятным кодом — лучше, чем случайный ответ.
Фолбэк нужно тестировать регулярно, иначе в инцидента выяснится, что он сломан. Chaos-тестирование — недооценённая практика.
score = model.predict(x)
if not np.isfinite(score) or not (0.0 <= score <= 1.0):
log_anomaly(request_id, score)
return fallback(x)- Проверяйте диапазон, NaN и пустые ответы генеративных моделей.
- Ограничивайте длину и формат ответа перед отдачей пользователю.
- Считайте долю сработавших защит как метрику здоровья модели.
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Инференс и эксплуатация · Безопасная эксплуатация
Observability96%
Наблюдаемость · Системный дизайн ML-сервисовЛоги, метрики и трассировки, по которым можно восстановить, что произошло с конкретным запросом.
Monitoring96%
Мониторинг · MLOpsНаблюдение за инфраструктурой, данными и качеством предсказаний после релиза.
Requirements and SLA85%
Требования и SLA · Системный дизайн ML-сервисовЧисла, которые нужно зафиксировать до архитектуры: задержка, пропускная способность, доступность, стоимость запроса.
Serving Architecture85%
Архитектура инференса · Системный дизайн ML-сервисовМодель внутри приложения, отдельный сервис или платформа инференса — три уровня связанности.
Caching85%
Кеширование · Системный дизайн ML-сервисовНе считать то, что уже посчитано: кеш предсказаний, признаков и эмбеддингов.
Batching and Queues85%
Батчинг и очереди · Системный дизайн ML-сервисовСобирать запросы в пачки, чтобы загрузить GPU, и сглаживать всплески нагрузки очередью.
Scaling85%
Масштабирование · Системный дизайн ML-сервисовГоризонтальное и вертикальное масштабирование инференса и правильные метрики автоскейлинга.
GPU Inference85%
GPU-инференс · Системный дизайн ML-сервисовКак выжать из видеокарты пропускную способность и не переплачивать.
Cost Model85%
Экономика сервиса · Системный дизайн ML-сервисовСтоимость одного предсказания и точка, где модель перестаёт окупаться.
LLM Serving85%
Обслуживание LLM · Системный дизайн ML-сервисовОтдельная инженерная дисциплина: KV-кеш, непрерывный батчинг, потоковая отдача и контроль стоимости.
Model Deployment85%
Деплой моделей · MLOpsДоставка модели пользователю: онлайн-сервис, батч-скоринг или встраивание в приложение.
Docker85%
Docker · MLOpsКонтейнеризация фиксирует окружение целиком: код, зависимости, системные библиотеки.
Kubernetes85%
Kubernetes · MLOpsОркестрация контейнеров: масштабирование, самовосстановление, обновления без простоя.
Secure Inference75%
Защита инференса · Безопасность ИИПериметр вокруг работающей модели: что происходит с запросом до того, как он дойдёт до весов, и после того, как ответ получен.
AI Governance75%
Управление рисками ИИ · Безопасность ИИПроцесс вокруг модели: классификация риска, документация, контроль изменений и ответственность за решения.
Data Contracts75%
Контракты данных · Инженерия данныхЯвная договорённость между источником и потребителем: какие поля, каких типов и с какими гарантиями.
Профильная компетенция для роли: Продуктовый инженер.
Усиливает профиль: ML Engineer.
Спрашивают на собеседовании: Сбер — Промышленный ML и MLOps, Selectel — Платформа инференса, Газпром нефть — Переработка и оптимизация, СИБУР — Качество и режимы производства, Северсталь — Оптимизация производства, Росатом — Промышленный ИИ.
Тема встречается в тестах по направлениям — ошибки приведут обратно на эту страницу.
Разбор архитектуры, где эта тема — один из кирпичей: требования, развилки, цифры и режимы отказа.
Глава «Системный дизайн ML-сервисов» последний раз правилась . Нашли ошибку — напишите.