Рекомендации за 50 мс

1Разложить 50 мс по статьям

Первое действие — не выбор модели, а бюджет задержки: он определяет всё остальное.

Пока бюджет не разложен, любое обсуждение архитектуры беспредметно. Раскладка сразу показывает, что на само ранжирование остаётся меньше половины времени.

Отсюда сразу следует главное архитектурное ограничение: скорить 30 млн товаров нельзя. При 15 мс на ранжирование и разумном железе бюджет — сотни кандидатов, а не миллионы.

2Двухэтапная схема: отбор и ранжирование

Дешёвая модель сокращает 30 млн до сотен, дорогая расставляет их по местам.

1. Отбор кандидатов (retrieval): несколько источников по 100–200 позиций — ANN-поиск по эмбеддингам, «похожие на просмотренные», популярное в категории, свежие поступления.
2. Слияние: объединение с дедупликацией даёт 300–500 кандидатов.
3. Ранжирование (ranking): одна модель на всех кандидатов, признаки пользователя, товара и пары.
4. Пост-обработка: разнообразие по категориям, бизнес-пины, фильтр «уже куплено».

Стоимость этапов различается на порядки: ANN-поиск по 8 млн векторов размерности 128 в HNSW укладывается в 1–3 мс при recall@100 около 0.95, а полный проход модели по каталогу — секунды. Именно поэтому каскад, а не одна модель.

3Признаки: где они лежат и когда считаются

Главная причина промахов по бюджету — не модель, а поход за признаками.

Признаки товара держат прямо в памяти сервиса: 8 млн товаров × 128 float16 — это около 2 ГБ, что реально для одной реплики и убирает целый сетевой поход из бюджета.

Все ключи забираются одним батч-запросом. Пятьдесят последовательных обращений по 1 мс — это 50 мс и мгновенный выход за бюджет; те же пятьдесят ключей в одном MGET — 2–3 мс.

4Деградация: что показать, когда не успели

Система с жёстким SLA обязана иметь ответ на случай «не уложились».

• Таймаут на каждый этап, а не на запрос целиком: не пришли признаки за 8 мс — ранжируем на том, что есть, и помечаем ответ как деградированный.
• Фолбэк-цепочка: персональные → популярное в категории → популярное вообще. Последний уровень считается заранее и лежит в памяти, поэтому не может отказать.
• Circuit breaker на онлайн-хранилище: если оно легло, сервис не должен ждать таймаута на каждом запросе.
• Кеш готовых блоков на 5–10 минут для незалогиненных: треть аудитории без истории получает один и тот же набор, и держать под неё полный пайплайн незачем.

5Выкатка и проверка

Офлайн-метрика ранжирования не доказывает ничего, пока модель не проверена на живом трафике.

1. Shadow-режим: новая модель считает ответ на реальном трафике, ответ не показывается. Проверяются задержка и стабильность, а не качество.
2. A/B на 5 % трафика с фиксацией guardrail-метрик: p99, доля фолбэков, ошибки, выручка на сессию.
3. Раскатка до 50/50 при неухудшении guardrail; автооткат срабатывает без человека.

Стабильные группы обязательны: пользователь распределяется по хешу идентификатора и не должен прыгать между вариантами между запросами, иначе эксперимент меряет шум.