КабинетПоиск
Метрики

MCC

Коэффициент Мэтьюса

актуальноТекущий рабочий стандарт

Направления: Машинное обучение · Оценка моделей

между предсказаниями и истиной, учитывающая все четыре ячейки ошибок.

Ключевые тезисы

  • Значения от −1 до 1; 0 — уровень случайного угадывания.
  • Самая честная одиночная метрика при сильном дисбалансе.
  • Симметрична относительно смены положительного класса.

Какую задачу решает

MCC (коэффициент Мэтьюса) — это корреляция между предсказанными и истинными метками, приведённая к отрезку от −1 до 1. В отличие от он использует все четыре ячейки ошибок, включая истинно отрицательные.

Практическая ценность в том, что MCC трудно обмануть. Высокое значение достижимо только тогда, когда модель хорошо работает и на положительном, и на отрицательном классе одновременно. Стратегии вроде «всегда отвечать частым классом» или «срабатывать на всём подряд» дают MCC около нуля — то есть метрика прямо говорит, что модель бесполезна.

Где F1 обманывает, а MCC — нет

Выборка из 100 объектов: 95 отрицательных, 5 положительных. Модель предсказывает положительный класс для всех: TP = 5, FP = 95, TN = 0, FN = 0. = 0.05, = 1.0, = 0.095 — низко, но ненулевое, метрика как бы признаёт какую-то заслугу. MCC даёт ровно 0: с истиной нет вовсе, и это точное описание ситуации. Полезное правило: если F1 и MCC заметно расходятся, доверяйте MCC и посмотрите на ошибок целиком.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Обозначения
  • верные срабатывания: модель сказала «да», и это правда
  • ложные срабатывания: модель сказала «да», а это неправда
  • пропуски: модель сказала «нет», а объект был положительным
  • верные отказы: модель сказала «нет», и это правда
  • Диапазон ; 0 — уровень случайного угадывания, отрицательные значения — систематическая инверсия.
  • Высокий MCC достижим только при хороших результатах по всем четырём ячейкам .
  • Симметричен: смена «положительного» класса не меняет значение.
На практике

Хорошая практика для несбалансированных задач — отчёт из трёх чисел: (качество ранжирования), MCC (качество при выбранном пороге) и сама ошибок.

МодельTPFPFNTNMCC
A9010108900.900.89
B100900000.180.00
C001009000.000.00

Модель B помечает всё как положительное, модель C — всё как отрицательное. Обе бесполезны, и MCC честно даёт им ноль, тогда как у C равна 0.9 и выглядит «прилично».

Где применяется

  • Сильный дисбалансНаиболее честная одиночная метрика, когда классы сильно неравны.
  • БиоинформатикаИсторическая область применения; там же MCC и стал стандартом.
  • Сравнение моделейОдно число, устойчивое к манипуляциям порогом и балансом.
  • Проверка подозрительно хороших результатовЕсли высок, а MCC низок, модель, скорее всего, эксплуатирует дисбаланс.

Плюсы, минусы и альтернативы

Плюсы

  • Учитывает всю ошибок.
  • Устойчив к дисбалансу классов.
  • Симметричен: не требует выбирать, какой класс «положительный».
  • Понятная шкала с содержательным нулём.

Минусы

  • Менее известен, чем , — требует пояснения аудитории.
  • Не разбирается на составляющие вроде точности и .
  • Зависит от порога.
  • Неопределён, если модель предсказывает только один класс.

Брать, если

  • Классы сильно несбалансированы и нужна одна честная метрика.
  • Есть подозрение, что модель эксплуатирует дисбаланс.

Не брать, если

  • Аудитория ждёт привычных и .
  • Нужна метрика, независимая от порога.

Чем заменяют

F1актуальноF1-мера · МетрикиНужна привычная и общепринятая метрика для отчёта.PR-AUCактуальноPR-AUC · МетрикиНужна оценка по всем порогам, а не в одной точке.Cohen's KappaактуальноКаппа Коэна · МетрикиЗадача про согласие разметчиков, а не про качество классификатора.

Связанные темы

Редкие классы и события · Качество классификации

PR-AUC97%

PR-AUC · Метрики

Площадь под кривой precision–recall; честнее ROC-AUC при редком положительном классе.

Accuracy85%

Доля правильных ответов · Метрики

Доля верных предсказаний среди всех. Понятна всем и обманчива при дисбалансе классов.

Precision85%

Точность · Метрики

Какая доля объектов, предсказанных положительными, действительно положительна.

Recall85%

Полнота · Метрики

Какая доля реально положительных объектов найдена моделью.

F185%

F1-мера · Метрики

Гармоническое среднее точности и полноты — компромисс между ними одним числом.

ROC-AUC85%

ROC-AUC · Метрики

Вероятность, что случайный положительный объект получит больший скор, чем случайный отрицательный.

Log Loss85%

Логарифмические потери · Метрики

Оценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.

Calibration85%

Калибровка · Оценка моделей

Соответствие предсказанных вероятностей реальным частотам событий.

Logistic Regression85%

Логистическая регрессия · Классическое машинное обучение

Линейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.

Imbalanced Data80%

Дисбаланс классов · Данные

Когда положительных объектов 1% или меньше: как обучать, чем мерить и что делать с порогом.

Isolation Forest80%

Isolation Forest · Классическое машинное обучение

Обнаружение аномалий случайными разбиениями: аномальный объект отделяется от остальных за меньшее число разрезов.

Anomaly Detection80%

Поиск аномалий · Обучение без учителя

Выделение объектов, не похожих на основную массу данных, при отсутствии меток.

Loss functions80%

Функции потерь · Глубокое обучение

Формализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.

Extreme Value Theory80%

Теория экстремальных значений · Теория вероятностей и распределения

Аппарат для моделирования максимумов и хвостов: как оценить вероятность события, которого ещё не случалось.

Следующий шагДальше по связи: PR-AUCПлощадь под кривой precision–recall; честнее ROC-AUC при редком положительном классе.Перейти →
← Log LossMAE →

Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.