Раздел 13

Model Interpretability

Интерпретируемость моделей

Инструменты объяснения предсказаний — необходимость в регуляторных областях и лучший способ найти утечку данных.

Что означают метки тем

новинкаНовое или быстро растущее направлениеактуальноТекущий рабочий стандартклассикаПроверено временем, но в новых проектах берут редко

Оценка вклада признаков в предсказания модели — первый шаг к пониманию её логики.

Признак перемешивается, и измеряется падение качества модели — модельно-независимый и честный подход.

Убираем шумные и избыточные признаки, чтобы снизить переобучение, ускорить инференс и упростить интерпретацию.

Распределение вклада признаков на основе значений Шепли из теории игр — с гарантиями аддитивности и согласованности.

Локальная аппроксимация сложной модели простой линейной в окрестности конкретного объекта.

Минимальное изменение входа, которое меняет решение модели: «что нужно поменять, чтобы кредит одобрили».

Где именно на изображении модель нашла основание для своего ответа — тепловая карта поверх входа.

Атака на этапе обучения: в данные подмешивается триггер, и при его появлении на входе модель выдаёт заранее заданный ответ.

Показывает средний эффект признака на предсказание при усреднении по остальным признакам.

Individual Conditional Expectation: та же зависимость, но отдельной линией для каждого объекта.

Сумма гладких функций от отдельных признаков: нелинейность есть, а интерпретируемость линейной модели сохраняется.

Последовательность вопросов «признак > порог», разбивающая пространство на прямоугольные области.

Линейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.

Предсказывает число как взвешенную сумму признаков. Самый интерпретируемый бейзлайн и основа для более сложных моделей.