Доля верных предсказаний среди всех. Понятна всем и обманчива при дисбалансе классов.
- все верные ответы: и найденные положительные, и верно отклонённые отрицательные
- все объекты. При дисбалансе знаменатель почти целиком состоит из лёгкого класса — отсюда обманчивость метрики
Ключевые тезисы
- При соотношении классов 99:1 константный ответ даёт 99% .
- Не различает типы ошибок — FP и FN весят одинаково.
- Годится только при сбалансированных классах и равной цене ошибок.
Какую задачу решает
отвечает на самый естественный вопрос: какая доля предсказаний оказалась верной. Метрика понятна кому угодно без пояснений, и именно поэтому её берут по умолчанию — часто там, где она ничего не измеряет.
Проблема в том, что складывает все ошибки в одну кучу, не различая их цену и не учитывая, насколько классы редки. При доле положительного класса в 1% модель, которая всегда отвечает «нет», получает 99% — и по этой метрике выглядит отличной, будучи полностью бесполезной.
Прежде чем радоваться , посчитайте долю самого частого класса — это и есть качество тривиальной модели. Если у вас 97% при доле большинства 96%, ваша модель улучшила предсказания на 1 процентный пункт, и почти наверняка не там, где нужно. Если разрыв меньше нескольких пунктов, переходите на , или экономическую метрику: accuracy просто не видит того, что происходит с редким классом.
Подробный разбор
| Предсказано 1 | Предсказано 0 | |
|---|---|---|
| Факт 1 | TP — верно найден | FN — пропуск |
| Факт 0 | FP — ложная тревога | TN — верно отклонён |
- верные срабатывания: модель сказала «да», и это правда
- ложные срабатывания: модель сказала «да», а это неправда
- пропуски: модель сказала «нет», а объект был положительным
- верные отказы: модель сказала «нет», и это правда
Модель скоринга дала 72 верных ответа из 100 → = 0.72. Но это число ничего не говорит о том, какие именно ошибки она делает.
Мошеннических транзакций 0.5%. Модель, которая всегда отвечает «не мошенничество», получает 99.5% — и не находит ни одного мошенника. Метрика прекрасна, польза нулевая.
- не различает типы ошибок: FP и FN весят одинаково, хотя стоят по-разному.
- При дисбалансе смотрите на , , , MCC.
- Balanced — среднее по классам — частично лечит проблему.
Где применяется
- Сбалансированные классыПримерно равные доли классов и сопоставимая цена ошибок — тогда честна.
- Коммуникация результатаПонятное число для нетехнической аудитории — рядом с более информативными метриками.
- Многоклассовая классификацияРаспознавание цифр, объектов, языков: классы сопоставимы, ошибки равноценны.
Плюсы, минусы и альтернативы
Плюсы
- Понятна без объяснений.
- Одно число для любого числа классов.
- Легко считать и сравнивать между моделями.
Минусы
- Бесполезна при дисбалансе: высокое значение достигается тривиально.
- Не различает типы ошибок и их цену.
- Не учитывает уверенность модели — только жёсткие метки.
- Зависит от порога, а он редко бывает подобран.
Брать, если
- Классы примерно сбалансированы.
- FP и FN стоят примерно одинаково.
Не брать, если
- Доля редкого класса ниже 20–30%.
- Цена ошибок разных типов отличается в разы.
- Нужны вероятности, а не метки.
Чем заменяют
Связанные темы
Качество классификации
Precision85%
Точность · МетрикиКакая доля объектов, предсказанных положительными, действительно положительна.
Recall85%
Полнота · МетрикиКакая доля реально положительных объектов найдена моделью.
F185%
F1-мера · МетрикиГармоническое среднее точности и полноты — компромисс между ними одним числом.
ROC-AUC85%
ROC-AUC · МетрикиВероятность, что случайный положительный объект получит больший скор, чем случайный отрицательный.
PR-AUC85%
PR-AUC · МетрикиПлощадь под кривой precision–recall; честнее ROC-AUC при редком положительном классе.
Log Loss85%
Логарифмические потери · МетрикиОценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.
MCC85%
Коэффициент Мэтьюса · МетрикиКорреляция между предсказаниями и истиной, учитывающая все четыре ячейки матрицы ошибок.
Calibration85%
Калибровка · Оценка моделейСоответствие предсказанных вероятностей реальным частотам событий.
Logistic Regression85%
Логистическая регрессия · Классическое машинное обучениеЛинейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Базовая линия большинства
модели, всегда отвечающей самым частым классом. Любую accuracy нужно сравнивать с ней, а не с нулём.
Разбор ниже: Почему accuracy обманываетСимметрия ошибок
FP и FN учитываются одинаково — а в жизни они почти никогда не стоят одинаково.
Разбор ниже: Почему accuracy обманываетBalanced accuracy
Среднее по классам: устойчива к дисбалансу и часто уместнее обычной.
Разбор ниже: Почему accuracy обманываетСпрашивают на собеседовании: ЮMoney — Конверсия платежа и эксперименты.
Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.