Минимальное изменение входа, которое меняет решение модели: «что нужно поменять, чтобы кредит одобрили».
Ключевые тезисы
- Самая понятная форма объяснения для конечного пользователя.
- Полезные контрфакты должны быть реалистичными и изменяемыми.
- Прямо связаны с правом на объяснение в регуляторике.
Подробный разбор
- объект: вектор признаков
- функция, о которой идёт речь
- аргумент, при котором выражение минимально (или максимально)
«Кредит одобрят, если сократить текущую задолженность на 40 000 ₽ или увеличить подтверждённый доход на 15 000 ₽/мес.» — это действие, а не отчёт о весах модели.
- Контрфакт должен быть достижимым: нельзя предлагать уменьшить возраст.
- И правдоподобным: комбинация должна встречаться в реальных данных.
- Полезно предлагать несколько альтернативных путей, а не один.
В регуляторике (GDPR, требования к кредитным решениям) именно такая форма ближе всего к «праву на объяснение».
- Задайте, какие изменяемы (доход — да, возраст — нет) и в каких пределах.
- Минимизируйте число изменённых (разреженность) и величину изменения одновременно.
- Требуйте : сгенерированный объект должен лежать в области реальных данных.
- Библиотеки: DiCE, Alibi — умеют учитывать все три требования.
Контрфакты полезны и внутри команды: они показывают, какие модель считает «рычагами», и часто вскрывают нелогичное поведение.
Связанные темы
Объяснение предсказаний
SHAP85%
SHAP · Интерпретируемость моделейРаспределение вклада признаков на основе значений Шепли из теории игр — с гарантиями аддитивности и согласованности.
LIME85%
LIME · Интерпретируемость моделейЛокальная аппроксимация сложной модели простой линейной в окрестности конкретного объекта.
Partial Dependence85%
Partial Dependence Plot · Интерпретируемость моделейПоказывает средний эффект признака на предсказание при усреднении по остальным признакам.
ICE85%
ICE-кривые · Интерпретируемость моделейIndividual Conditional Expectation: та же зависимость, но отдельной линией для каждого объекта.
Permutation Importance85%
Перестановочная важность · Интерпретируемость моделейПризнак перемешивается, и измеряется падение качества модели — модельно-независимый и честный подход.
Logistic Regression85%
Логистическая регрессия · Классическое машинное обучениеЛинейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.
Глава «Интерпретируемость моделей» последний раз правилась . Нашли ошибку — напишите.