Интерпретируемость моделей

LIME

LIME

актуальноТекущий рабочий стандарт

Направления: Доверенный ИИ · Объяснимый ИИ

Локальная аппроксимация сложной модели простой линейной в окрестности конкретного объекта.

Ключевые тезисы

  • Модельно-независим, работает с текстом, изображениями и таблицами.
  • Объяснения могут быть нестабильны от запуска к запуску.
  • Быстрее , но с меньшими теоретическими гарантиями.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

  1. Сгенерировать возмущённые копии объекта (выключить слова, зашумить , скрыть суперпиксели).
  2. Получить предсказания исходной модели на них.
  3. Взвесить копии по близости к исходному объекту.
  4. Обучить взвешенную линейную модель — её коэффициенты и есть объяснение.

быстрее и одинаково хорошо работает с текстом, изображениями и таблицами. Плата — нестабильность: разные запуски дают разные объяснения, поскольку возмущения случайны.

  • Увеличьте число возмущённых образцов (num_samples) — обычно 1 000 мало, берите 5 000.
  • Фиксируйте random_state и усредняйте объяснения по нескольким запускам.
  • Проверяйте «верность» локальной модели: её на возмущённых данных должен быть высоким, иначе объяснение бессмысленно.
На практике

Если объяснения нестабильны даже при большом числе образцов, значит поверхность решения в этой точке резко нелинейна — это само по себе важный факт о модели.

Связанные темы

Объяснение предсказаний

SHAP85%

SHAP · Интерпретируемость моделей

Распределение вклада признаков на основе значений Шепли из теории игр — с гарантиями аддитивности и согласованности.

Partial Dependence85%

Partial Dependence Plot · Интерпретируемость моделей

Показывает средний эффект признака на предсказание при усреднении по остальным признакам.

ICE85%

ICE-кривые · Интерпретируемость моделей

Individual Conditional Expectation: та же зависимость, но отдельной линией для каждого объекта.

Counterfactual explanations85%

Контрфактические объяснения · Интерпретируемость моделей

Минимальное изменение входа, которое меняет решение модели: «что нужно поменять, чтобы кредит одобрили».

Permutation Importance85%

Перестановочная важность · Интерпретируемость моделей

Признак перемешивается, и измеряется падение качества модели — модельно-независимый и честный подход.

Logistic Regression85%

Логистическая регрессия · Классическое машинное обучение

Линейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.

Следующий шагДальше по связи: SHAPРаспределение вклада признаков на основе значений Шепли из теории игр — с гарантиями аддитивности и согласованности.Перейти →

Глава «Интерпретируемость моделей» последний раз правилась . Нашли ошибку — напишите.