Стоимость одного предсказания и точка, где модель перестаёт окупаться.
Ключевые тезисы
- Считайте стоимость на 1000 запросов: GPU-час, память, трафик, хранение .
- Часто дешевле уменьшить модель, чем масштабировать железо: и окупаются быстро.
- Кеш популярных запросов — обычно самая дешёвая оптимизация из всех возможных.
Подробный разбор
GPU-инстанс 120 ₽/час, две реплики, 40 RPS на реплику: ₽ за запрос. При 10 млн запросов в месяц — около 8 300 ₽.
- Кеш повторяющихся запросов — иногда убирает половину трафика.
- и компиляция модели — двукратное ускорение почти бесплатно.
- — кратный рост пропускной способности на .
- в меньшую модель — дольше, но даёт наибольший выигрыш.
- Каскад: дешёвая модель отвечает на простые случаи, дорогая — на сложные.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Системный дизайн ML-сервисов» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Эффективность моделей · Инференс и эксплуатация
GPU Inference97%
GPU-инференс · Системный дизайн ML-сервисовКак выжать из видеокарты пропускную способность и не переплачивать.
Requirements and SLA85%
Требования и SLA · Системный дизайн ML-сервисовЧисла, которые нужно зафиксировать до архитектуры: задержка, пропускная способность, доступность, стоимость запроса.
Serving Architecture85%
Архитектура инференса · Системный дизайн ML-сервисовМодель внутри приложения, отдельный сервис или платформа инференса — три уровня связанности.
Caching85%
Кеширование · Системный дизайн ML-сервисовНе считать то, что уже посчитано: кеш предсказаний, признаков и эмбеддингов.
Batching and Queues85%
Батчинг и очереди · Системный дизайн ML-сервисовСобирать запросы в пачки, чтобы загрузить GPU, и сглаживать всплески нагрузки очередью.
Scaling85%
Масштабирование · Системный дизайн ML-сервисовГоризонтальное и вертикальное масштабирование инференса и правильные метрики автоскейлинга.
Reliability85%
Отказоустойчивость · Системный дизайн ML-сервисовЧто происходит, когда модель недоступна, отвечает медленно или выдаёт мусор.
Observability85%
Наблюдаемость · Системный дизайн ML-сервисовЛоги, метрики и трассировки, по которым можно восстановить, что произошло с конкретным запросом.
LLM Serving85%
Обслуживание LLM · Системный дизайн ML-сервисовОтдельная инженерная дисциплина: KV-кеш, непрерывный батчинг, потоковая отдача и контроль стоимости.
Model Deployment85%
Деплой моделей · MLOpsДоставка модели пользователю: онлайн-сервис, батч-скоринг или встраивание в приложение.
Monitoring85%
Мониторинг · MLOpsНаблюдение за инфраструктурой, данными и качеством предсказаний после релиза.
Docker85%
Docker · MLOpsКонтейнеризация фиксирует окружение целиком: код, зависимости, системные библиотеки.
Kubernetes85%
Kubernetes · MLOpsОркестрация контейнеров: масштабирование, самовосстановление, обновления без простоя.
Transfer Learning80%
Перенос обучения · Глубокое обучениеИспользование модели, обученной на большой выборке, для задачи с малым числом примеров. Главный практический приём современного глубокого обучения.
Mixture of Experts80%
Смесь экспертов · Глубокое обучениеАрхитектура, в которой на каждый токен активируется лишь часть параметров: большая ёмкость при умеренной стоимости вычислений.
Distillation80%
Дистилляция · Генеративный ИИОбучение маленькой модели воспроизводить поведение большой: кратное снижение стоимости при небольшой потере качества.
LoRA80%
LoRA · Генеративный ИИОбучение низкоранговых добавок к весам вместо полного дообучения модели.
Профильная компетенция для ролей: ML Engineer, Data Engineer, MLOps-инженер, Продуктовый инженер.
Усиливает профиль: LLM-инженер, Инженер рекомендаций.
Спрашивают на собеседовании: Dodo Brands — Зрение на кухне, Ростелеком — Видеоаналитика, 1С — Помощники в приложениях, Arenadata — ML на платформе данных, YADRO — Эффективность моделей, Selectel — Платформа инференса, Cloud.ru — Модели как сервис, Т1 — Документы и ассистенты.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Разбор архитектуры, где эта тема — один из кирпичей: требования, развилки, цифры и режимы отказа.
Глава «Системный дизайн ML-сервисов» последний раз правилась . Нашли ошибку — напишите.