КабинетПоиск
Практика ML

Problem formulation

Постановка задачи

актуальноТекущий рабочий стандарт

Направления: Инженерия ИИ · Системный дизайн ML

Перевод бизнес-вопроса в ML-задачу с целевой переменной, метрикой и ограничениями.

Ключевые тезисы

  • Сначала определите, как будет приниматься решение по предсказанию.
  • Проверьте, что нужные данные существуют на предсказания.
  • Иногда правильный ответ — правило или аналитика, а не модель.

Какую задачу решает

Самая дорогая ошибка в ML-проекте делается до первой строки кода: неверно поставленная задача. Модель может быть безупречной, метрика отличной, а результат бесполезным — потому что предсказывалось не то, что нужно, или предсказание некому и незачем использовать.

Постановка задачи отвечает на четыре вопроса. Какое решение принимается на основе предсказания и кем? Что именно предсказываем (целевая переменная) и доступна ли эта информация в предсказания? Чем измеряем успех — в деньгах или в поведении, а не только в ? Что будет базовой линией, которую надо побить, чтобы проект имел смысл?

Как переформулировка меняет проект

Запрос: «предскажите отток клиентов». Вопросы: что будет сделано с предсказанием? — «позвоним и предложим скидку». Сколько звонков в день выдержит колл-центр? — «двести». Тогда задача не «предсказать отток», а «отранжировать клиентов так, чтобы двести верхних содержали максимум тех, кто уйдёт и кого скидка удержит». Метрика — не , а @200 и удержанная выручка. И сразу видно, что нужен не классификатор оттока, а модель эффекта воздействия: клиент, который уйдёт в любом случае, в списке бесполезен.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

  1. Какое решение будет приниматься по предсказанию? Если никакое — модель не нужна.
  2. Что именно предсказываем: событие, величину, ранг? Каков ?
  3. Какие данные доступны в момент предсказания, а не задним числом?
  4. Как измеряется успех в бизнес-метриках и какая ML-метрика ей ближе всего?
  5. Какова цена ошибки каждого типа? Отсюда возьмётся порог.
  6. Каковы ограничения: , стоимость , объяснимость, регуляторика.
На практике

Иногда правильный ответ — простое правило или дашборд. Это не поражение: это экономия месяцев и поддерживаемое решение.

Пример

Задача «предсказать отток». Что такое отток: не заходил 30 дней? отменил подписку? снизил траты вдвое? Каждое определение даёт свою модель, свою метрику и своё действие. Определение должно исходить из того, что вы собираетесь делать с предсказанием.

  • Целевая переменная должна быть измеримой и однозначно вычисляемой из данных.
  • («в течение 30 дней») задаётся вместе с определением.
  • Проверьте базовую частоту события: при 0.1% положительных нужен другой подход, чем при 30%.

Где применяется

  • Старт проектаОдин разговор с заказчиком экономит месяцы работы не в ту сторону.
  • Спасение буксующего проектаМетрика растёт, а ценности нет — почти всегда дело в постановке.
  • ПриоритизацияОценка ожидаемого эффекта до вложений в разработку.

Плюсы, минусы и альтернативы

Плюсы

  • Самый дешёвый этап и самый влиятельный на итог.
  • Вскрывает случаи, где ML не нужен вовсе, — и это отличный результат.
  • Задаёт критерий приёмки заранее, а не задним числом.

Минусы

  • Требует разговоров с людьми, а не работы с данными.
  • Заказчик часто сам не знает, какое решение будет приниматься.
  • Соблазн пропустить и «просто попробовать модель» очень велик.

Брать, если

  • В начале любого проекта — без исключений.
  • При каждом существенном изменении требований.

Не брать, если

  • Исследовательская работа, где цель — понять данные, а не принять решение.

Чем заменяют

BaselinesактуальноБейзлайны · Практика MLПостановка есть, нужна точка отсчёта.A/B testingактуальноA/B-тестирование · Оценка моделейНужно измерить реальный эффект, а не офлайн-метрику.

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «Практика ML» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.

Курс: Системный дизайн ML7 записейКурс: Введение в MLOps5 записей

Связанные темы

Рабочий цикл ML-инженера

Baselines70%

Бейзлайны · Практика ML

Простейшее решение, с которым сравнивается всё остальное: константа, правило, логистическая регрессия.

Debugging models70%

Отладка моделей · Практика ML

Систематический поиск причины, почему модель не учится или ведёт себя странно.

Hyperparameter tuning70%

Настройка гиперпараметров · Практика ML

Поиск конфигурации модели по валидационной метрике — последний, а не первый шаг работы.

Overfitting70%

Переобучение · Практика ML

Модель запомнила обучающую выборку вместе с шумом: train-метрика отличная, val — плохая.

Error analysis70%

Анализ ошибок · Оценка моделей

Ручной разбор случаев, где модель ошибается: почти всегда даёт больше, чем очередной перебор гиперпараметров.

Production ML70%

ML в продакшене · Практика ML

Модель в проде — это сервис с SLA, мониторингом, версионированием и планом отката.

Кому эта тема нужна

Профильная компетенция для ролей: Data Scientist, Аналитик данных, Продуктовый инженер.

Усиливает профиль: ML Engineer, LLM-инженер.

Спрашивают на собеседовании: Ozon — Спрос и логистика, Wildberries — Спрос, цены и акции, МТС — Отток и персональные предложения, Альфа-Банк — Персонализация и CVM, Совкомбанк — Скоринг и взыскание, Совкомбанк — Продуктовая аналитика и эксперименты, ЮMoney — Конверсия платежа и эксперименты, X5 Tech — Спрос и пополнение, X5 Tech — Цены и промо, Магнит — Ассортимент и спрос, Магнит — Лояльность и персонализация, Lamoda — Рекомендации и поиск, Самокат — Спрос и ассортимент даркстора, Самокат — Логистика и сроки доставки, Dodo Brands — Прогноз заказов и планирование смен, Спортмастер — Закупка и ассортимент, Спортмастер — Рекомендации и омниканальность, HeadHunter — Матчинг и рекомендации, Авиасейлс — Прогноз цен и подсказки, Авиасейлс — Ранжирование предложений, МегаФон — Отток и предложения, билайн — Продукты на данных, билайн — Маркетинг и удержание, Ростелеком — Качество сети и отток, Т1 — Корпоративный ML, Газпром нефть — Переработка и оптимизация, СИБУР — Качество и режимы производства, Северсталь — Оптимизация производства.

Добавить в учебную программу
Проверить себя

Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.

Тест: Дизайн ML-систем22
Следующий шагПроверить себя: Дизайн ML-системТема встречается в этом тесте 1 раз. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →
Baselines →

Глава «Практика ML» последний раз правилась . Нашли ошибку — напишите.