Часть считается заранее, часть — в запроса. Расхождение между ними — главный источник инцидентов.
Ключевые тезисы
- Тяжёлые агрегаты считают батчем и кладут в быстрое хранилище (Redis, Aerospike).
- запроса (текущая корзина, устройство) считаются онлайн.
- Определение должно быть одно на оба пути — иначе training/serving skew неизбежен.
Подробный разбор
| Тип | Где считается | Пример |
|---|---|---|
| Долгие агрегаты | , кладём в KV-хранилище | средний чек за 90 дней |
| Свежие агрегаты | стриминг | число операций за последний час |
| Контекст запроса | онлайн | устройство, время суток, корзина |
| Статические атрибуты | сегмент, тариф |
- Опишите один раз в общей библиотеке или в .
- Логируйте , использованные при онлайн-предсказании.
- Регулярно сверяйте офлайн-пересчёт с залогированными значениями — расхождение больше допуска считается инцидентом.
Логирование в запроса решает сразу две задачи: контроль skew и , полностью соответствующая проду.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Системный дизайн ML-сервисов» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Признаки в реальном времени
Feature Stores85%
Хранилища признаков · MLOpsЦентрализованное хранилище признаков, единое для обучения и онлайн-инференса.
Batch and Streaming85%
Батч и стриминг · Инженерия данныхОбработка по расписанию против непрерывной обработки событий. Разные задержки, разные гарантии, разная стоимость.
Change Data Capture85%
Захват изменений (CDC) · Инженерия данныхЧтение журнала изменений базы вместо периодических полных выгрузок.
Feature engineering85%
Конструирование признаков · ДанныеСоздание признаков, в которых закономерность становится линейно отделимой или просто более заметной для модели.
Feature engineering85%
Работа с признаками · Практика MLНа табличных данных грамотные признаки дают больший прирост, чем смена модели.
Профильная компетенция для ролей: Data Engineer, MLOps-инженер, Инженер рекомендаций.
Усиливает профиль: ML Engineer.
Спрашивают на собеседовании: Яндекс — RecSys, Сбер — Рекомендации и персонализация, Т-Банк — Рекомендации и персонализация, VK — Лента и рекомендации, ЮMoney — Антифрод платежей, Спортмастер — Рекомендации и омниканальность, BI.ZONE — Антифрод и защита от автоматизации, Arenadata — ML на платформе данных.
Тема встречается в тестах по направлениям — ошибки приведут обратно на эту страницу.
Разбор архитектуры, где эта тема — один из кирпичей: требования, развилки, цифры и режимы отказа.
Глава «Системный дизайн ML-сервисов» последний раз правилась . Нашли ошибку — напишите.