Не считать то, что уже посчитано: кеш предсказаний, и .
Ключевые тезисы
- Ключ кеша должен включать версию модели — иначе после релиза вы отдаёте старые ответы.
- TTL выбирается из скорости устаревания данных, а не из размера кеша.
- Для повторяющихся запросов кеш даёт больший выигрыш, чем любая оптимизация модели.
Подробный разбор
- Признаки: результат обращения к хранилищу, TTL от секунд до часов.
- Эмбеддинги: почти неизменны, кешируются надолго.
- Предсказания: только если вход повторяется и модель детерминирована.
Ключ кеша обязан включать версию модели и версию логики . Иначе после выката новой версии пользователи будут получать старые ответы, и это крайне сложно заметить.
- Hit rate: ниже 20% — кеш чаще всего не окупает сложность.
- на промахе против задержки на попадании.
- Расход памяти и вытеснения (LRU обычно достаточно).
- Стampede-эффект: при истечении TTL популярного ключа сотни запросов уходят в модель одновременно — лечится блокировкой на пересчёт.
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Структуры данных · Инференс и эксплуатация
Hash Tables85%
Хеш-таблицы · Алгоритмы и структуры данныхДоступ по ключу за константу в среднем. Основа словарей и множеств — и структура, на которой держится большая часть повседневного кода.
Arrays, Lists, Stacks and Queues85%
Массивы, списки, стеки и очереди · Алгоритмы и структуры данныхЧетыре базовых способа хранить последовательность. Отличаются не тем, что умеют, а тем, что у них дёшево, а что дорого.
Trees and Heaps85%
Деревья и кучи · Алгоритмы и структуры данныхИерархические структуры, дающие логарифмические операции: двоичное дерево поиска для упорядоченных запросов, куча — для быстрого минимума.
Sorting Algorithms85%
Сортировки · Алгоритмы и структуры данныхБыстрая, слиянием, пирамидальная — три способа упорядочить данные за O(n log n) с разными свойствами по памяти, устойчивости и худшему случаю.
Order Statistics85%
Порядковые статистики · Алгоритмы и структуры данныхНайти k-й по величине элемент, не сортируя весь массив. Quickselect делает это в среднем за линию.
Requirements and SLA85%
Требования и SLA · Системный дизайн ML-сервисовЧисла, которые нужно зафиксировать до архитектуры: задержка, пропускная способность, доступность, стоимость запроса.
Serving Architecture85%
Архитектура инференса · Системный дизайн ML-сервисовМодель внутри приложения, отдельный сервис или платформа инференса — три уровня связанности.
Batching and Queues85%
Батчинг и очереди · Системный дизайн ML-сервисовСобирать запросы в пачки, чтобы загрузить GPU, и сглаживать всплески нагрузки очередью.
Scaling85%
Масштабирование · Системный дизайн ML-сервисовГоризонтальное и вертикальное масштабирование инференса и правильные метрики автоскейлинга.
GPU Inference85%
GPU-инференс · Системный дизайн ML-сервисовКак выжать из видеокарты пропускную способность и не переплачивать.
Reliability85%
Отказоустойчивость · Системный дизайн ML-сервисовЧто происходит, когда модель недоступна, отвечает медленно или выдаёт мусор.
Observability85%
Наблюдаемость · Системный дизайн ML-сервисовЛоги, метрики и трассировки, по которым можно восстановить, что произошло с конкретным запросом.
Cost Model85%
Экономика сервиса · Системный дизайн ML-сервисовСтоимость одного предсказания и точка, где модель перестаёт окупаться.
LLM Serving85%
Обслуживание LLM · Системный дизайн ML-сервисовОтдельная инженерная дисциплина: KV-кеш, непрерывный батчинг, потоковая отдача и контроль стоимости.
Model Deployment85%
Деплой моделей · MLOpsДоставка модели пользователю: онлайн-сервис, батч-скоринг или встраивание в приложение.
Monitoring85%
Мониторинг · MLOpsНаблюдение за инфраструктурой, данными и качеством предсказаний после релиза.
Docker85%
Docker · MLOpsКонтейнеризация фиксирует окружение целиком: код, зависимости, системные библиотеки.
Kubernetes85%
Kubernetes · MLOpsОркестрация контейнеров: масштабирование, самовосстановление, обновления без простоя.
Профильная компетенция для роли: Продуктовый инженер.
Усиливает профиль: MLOps-инженер, LLM-инженер.
Спрашивают на собеседовании: Авито — Поиск и ранжирование, Авиасейлс — Ранжирование предложений.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Разбор архитектуры, где эта тема — один из кирпичей: требования, развилки, цифры и режимы отказа.
Глава «Системный дизайн ML-сервисов» последний раз правилась . Нашли ошибку — напишите.