Интерпретируемость моделей

LIME

LIME

актуальноТекущий рабочий стандарт

Локальная аппроксимация сложной модели простой линейной в окрестности конкретного объекта.

Ключевые тезисы

  • Модельно-независим, работает с текстом, изображениями и таблицами.
  • Объяснения могут быть нестабильны от запуска к запуску.
  • Быстрее SHAP, но с меньшими теоретическими гарантиями.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

1

Локальная линейная аппроксимация

Объясняем одно предсказание простой моделью вокруг него.

  1. Сгенерировать возмущённые копии объекта (выключить слова, зашумить признаки, скрыть суперпиксели).
  2. Получить предсказания исходной модели на них.
  3. Взвесить копии по близости к исходному объекту.
  4. Обучить взвешенную линейную модель — её коэффициенты и есть объяснение.

LIME быстрее SHAP и одинаково хорошо работает с текстом, изображениями и таблицами. Плата — нестабильность: разные запуски дают разные объяснения, поскольку возмущения случайны.

2

Стабильность объяснений

Как получить воспроизводимый результат.

  • Увеличьте число возмущённых образцов (num_samples) — обычно 1 000 мало, берите 5 000.
  • Фиксируйте random_state и усредняйте объяснения по нескольким запускам.
  • Проверяйте «верность» локальной модели: её на возмущённых данных должен быть высоким, иначе объяснение бессмысленно.
На практике

Если объяснения нестабильны даже при большом числе образцов, значит поверхность решения в этой точке резко нелинейна — это само по себе важный факт о модели.

Связанные темы

Объяснение предсказаний

SHAP85%

SHAP · Интерпретируемость моделей

Распределение вклада признаков на основе значений Шепли из теории игр — с гарантиями аддитивности и согласованности.

Partial Dependence85%

Partial Dependence Plot · Интерпретируемость моделей

Показывает средний эффект признака на предсказание при усреднении по остальным признакам.

ICE85%

ICE-кривые · Интерпретируемость моделей

Individual Conditional Expectation: та же зависимость, но отдельной линией для каждого объекта.

Counterfactual explanations85%

Контрфактические объяснения · Интерпретируемость моделей

Минимальное изменение входа, которое меняет решение модели: «что нужно поменять, чтобы кредит одобрили».

Permutation Importance85%

Перестановочная важность · Интерпретируемость моделей

Признак перемешивается, и измеряется падение качества модели — модельно-независимый и честный подход.

Logistic Regression85%

Логистическая регрессия · Классическое машинное обучение

Линейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.