КабинетПоиск
Интерпретируемость моделей

SHAP

SHAP

актуальноТекущий рабочий стандарт

Направления: Доверенный ИИ · Объяснимый ИИ

Распределение вклада на основе значений Шепли из теории игр — с гарантиями аддитивности и согласованности.

Ключевые тезисы

  • Работает и локально (одно предсказание), и глобально (агрегация по выборке).
  • TreeSHAP считает точные значения для деревьев быстро.
  • Beeswarm-график — стандартный способ показать структуру модели одним изображением.

Какую задачу решает

Сложная модель выдаёт число, но не объясняет его. отвечает на вопрос «почему именно столько» для каждого конкретного предсказания: он раскладывает отклонение предсказания от среднего на вклады отдельных .

В отличие от эвристических методов важности, опирается на кооперативную теорию игр: вклад — это его средний предельный вклад по всем возможным порядкам добавления признаков. Отсюда свойства, которых нет у альтернатив: вклады в сумме дают ровно разницу между предсказанием и базовым значением, а признак, ни на что не влияющий, гарантированно получает ноль.

Как читать вклад правильно

говорит: « „возраст = 25“ снизил предсказанный скор на 0.15 относительно базового». Это утверждение о модели: при прочих равных модель понижает оценку молодым заявителям. Это не утверждение о мире: возможно, возраст просто коррелирует с длиной кредитной истории, которая и является настоящей причиной, а модель распределила вклад между ними. Практический вывод: SHAP превосходен для отладки, объяснения и поиска утечек, но выводы вида «чтобы улучшить исход, измените этот признак» из него не следуют — для этого нужен причинный анализ или эксперимент.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Обозначения
  • функция, о которой идёт речь
  • суммирование по всем перечисленным элементам
Средний вклад по всем возможным порядкам его добавления
Обозначения
  • объект: вектор признаков
  • функция, о которой идёт речь
  • суммирование по всем перечисленным элементам
Свойство аддитивности: вклады складываются точно в предсказание
  • Локально: почему конкретному клиенту отказали — по вкладу каждого .
  • Глобально: усреднение по выборке даёт устойчивую .
  • TreeSHAP считает точные значения для деревьев за полиномиальное время — поэтому так популярен именно с бустингом.

  • Beeswarm: каждая точка — объект; по горизонтали вклад, цвет — значение . Видно и силу, и направление эффекта.
  • Waterfall: разложение одного предсказания от базового значения до итогового.
  • Dependence plot: вклад против его значения — показывает нелинейности и взаимодействия.
На практике

При сильно коррелированных тоже «размазывает» вклад между ними. Интерпретируйте группы связанных признаков вместе, а не по отдельности.

Где применяется

  • Объяснение решения клиенту«Отказ из-за высокой долговой нагрузки и короткой кредитной истории» — с конкретными вкладами.
  • Отладка моделиРазбор ошибочных предсказаний: какой увёл модель не туда.
  • Поиск утечки с аномально большим вкладом — первый кандидат на проверку.
  • Средний абсолютный вклад как более честная мера важности.
  • Регуляторные требованияОбоснование автоматических решений там, где это требуется законом.

Плюсы, минусы и альтернативы

Плюсы

  • Теоретически обоснован: единственный метод с набором желаемых свойств.
  • Объясняет каждое предсказание, а не модель в среднем.
  • Аддитивность делает объяснение проверяемым арифметически.
  • Для деревьев считается быстро и точно.
  • Показывает и силу, и направление влияния .

Минусы

  • Для не-древовидных моделей вычисление дорого и приближённо.
  • Скоррелированные делят вклад произвольным образом.
  • Объясняет модель, а не реальность: не даёт причинности.
  • Легко трактовать неверно — «вклад» читают как «причину».
  • На высокоразмерных данных графики становятся нечитаемыми.

Брать, если

  • Нужно объяснить конкретное предсказание.
  • Модель — или лес: TreeSHAP делает это дёшево.
  • Требуется обоснование решений перед людьми или регулятором.

Не брать, если

  • Нужен причинный вывод: описывает модель, а не мир.
  • сильно скоррелированы — распределение вкладов между ними будет произвольным.
  • Модель проста и объяснима сама по себе.

Чем заменяют

Permutation ImportanceактуальноПерестановочная важность · Интерпретируемость моделейНужна общая , а не объяснение отдельных предсказаний.LIMEактуальноLIME · Интерпретируемость моделейМодель не древовидная и нужно быстрое локальное приближение.Counterfactual explanationsактуальноКонтрфактические объяснения · Интерпретируемость моделейНужен ответ «что изменить, чтобы решение стало другим».
Тема также относится к главам:Классическое машинное обучениеДеревья и ансамбли

Связанные темы

Деревья и ансамбли · Объяснение предсказаний

Decision Trees85%

Решающие деревья · Классическое машинное обучение

Последовательность вопросов «признак > порог», разбивающая пространство на прямоугольные области.

Random Forest85%

Случайный лес · Классическое машинное обучение

Бэггинг деревьев со случайными подвыборками объектов и признаков: усреднение резко снижает дисперсию.

Gradient Boosting85%

Градиентный бустинг · Классическое машинное обучение

Последовательное построение деревьев, каждое из которых исправляет ошибки предыдущего ансамбля.

XGBoost85%

XGBoost · Классическое машинное обучение

Реализация бустинга с регуляризацией в функции потерь, вторым порядком оптимизации и продуманной работой с разреженностью.

LightGBM85%

LightGBM · Классическое машинное обучение

Быстрый бустинг от Microsoft: гистограммное разбиение и рост дерева по листьям вместо по уровням.

CatBoost85%

CatBoost · Классическое машинное обучение

Бустинг от Яндекса с упорядоченным кодированием категорий и упорядоченным бустингом против смещения.

Encoding85%

Кодирование категорий · Данные

Перевод категориальных признаков в числа: one-hot, ordinal, target encoding, хеширование, эмбеддинги.

LIME85%

LIME · Интерпретируемость моделей

Локальная аппроксимация сложной модели простой линейной в окрестности конкретного объекта.

Partial Dependence85%

Partial Dependence Plot · Интерпретируемость моделей

Показывает средний эффект признака на предсказание при усреднении по остальным признакам.

ICE85%

ICE-кривые · Интерпретируемость моделей

Individual Conditional Expectation: та же зависимость, но отдельной линией для каждого объекта.

Counterfactual explanations85%

Контрфактические объяснения · Интерпретируемость моделей

Минимальное изменение входа, которое меняет решение модели: «что нужно поменять, чтобы кредит одобрили».

Permutation Importance85%

Перестановочная важность · Интерпретируемость моделей

Признак перемешивается, и измеряется падение качества модели — модельно-независимый и честный подход.

Logistic Regression85%

Логистическая регрессия · Классическое машинное обучение

Линейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.

Кому эта тема нужна

Профильная компетенция для роли: Data Scientist.

Усиливает профиль: Аналитик данных.

Спрашивают на собеседовании: Сбер — Скоринг и риски, Wildberries — Спрос, цены и акции, МТС — Отток и персональные предложения, Альфа-Банк — Скоринг и кредитные риски, ВТБ — Риск-модели, Газпромбанк — Корпоративные риски, Совкомбанк — Скоринг и взыскание, X5 Tech — Цены и промо, Циан — Оценка недвижимости, МегаФон — Отток и предложения, билайн — Маркетинг и удержание, Ростелеком — Качество сети и отток, Positive Technologies — Аналитика событий и приоритизация, СКБ Контур — Проверка контрагентов, Т1 — Корпоративный ML, Газпром нефть — Геология и добыча, СИБУР — Качество и режимы производства, Северсталь — Оптимизация производства, Росатом — Промышленный ИИ.

Добавить в учебную программу
Следующий шагДальше по связи: Decision TreesПоследовательность вопросов «признак > порог», разбивающая пространство на прямоугольные области.Перейти →
← Permutation ImportanceLIME →

Глава «Интерпретируемость моделей» последний раз правилась . Нашли ошибку — напишите.