Гармоническое среднее точности и — компромисс между ними одним числом.
- произведение точности и полноты: если одна из них близка к нулю, всё выражение обнуляется
- нормировка. Гармоническое среднее тянется к меньшей из двух величин, поэтому перекос сразу виден
Ключевые тезисы
- Штрафует сильный перекос: низкое значение одной из компонент тянет вниз.
- Fβ смещает баланс в сторону (β>1) или (β<1).
- Macro-усреднение по классам не учитывает их размеры, weighted — учитывает.
Какую задачу решает
сводит точность и полноту в одно число через гармоническое среднее. Гармоническое, а не обычное, выбрано намеренно: оно жёстко наказывает перекос. При 1.0 и 0.0 обычное среднее даст 0.5 — вполне приличное на вид число для полностью бесполезной модели, — а F1 даст 0.
Это делает удобной метрикой для сравнения моделей при дисбалансе, но у неё есть цена: она предполагает, что точность и равноценны. Если пропуск дороже ложной тревоги в десять раз, F1 даёт неверный ответ на вопрос «какая модель лучше» — там нужна или прямая экономическая метрика.
Три класса: A (900 объектов, = 0.95), B (80, F1 = 0.70), C (20, F1 = 0.10). Micro-F1 даст около 0.92 — картина благополучия. Macro-F1 даст и честно покажет, что на редком классе модель почти не работает. Если редкие классы для задачи важны (а обычно именно ради них всё и делается), докладывайте macro — и всегда указывайте, какое усреднение использовано: без этого число не интерпретируемо.
Подробный разбор
P = 1.0, R = 0.1. Арифметическое среднее 0.55 — выглядит прилично. = — честно показывает, что модель почти ничего не находит.
- — вдвое важнее (медицина, безопасность).
- — важнее (рассылки, автоблокировки).
- Macro усредняет по классам без учёта их размера, weighted — с учётом, micro — считает по общей ошибок.
| Усреднение | Как считает | Кого поощряет |
|---|---|---|
| macro | среднее по классам | качество на редких классах |
| weighted | среднее с весами по размеру классов | качество на частых классах |
| micro | по общей ошибок | совпадает с в однометочной задаче |
Три класса с = 0.9, 0.85 и 0.2, размеры 1000/1000/50. macro-F1 = 0.65 — честно показывает провал на редком классе; weighted-F1 = 0.86 — почти его не замечает.
Где применяется
- Стандартная замена , когда положительный класс редок.
- Сравнение моделейОдно число для быстрого отбора кандидатов перед детальным разбором.
- Многоклассовые задачиMacro-F1 показывает, не провалилась ли модель на редких классах.
- и извлечение сущностейСтандартная метрика области: важны и найденные, и правильно найденные.
Плюсы, минусы и альтернативы
Плюсы
- Одно число вместо двух, без потери чувствительности к перекосу.
- Устойчива к дисбалансу лучше .
- Macro-вариант делает видимыми проблемы с редкими классами.
- Общепринята — результаты сравнимы между работами.
Минусы
- Неявно считает и равноценными.
- Зависит от порога и меняется вместе с ним.
- Игнорирует истинно отрицательные — не отражает поведение на большом классе.
- Разные виды усреднения дают разные ответы, и их часто путают.
Брать, если
- Классы несбалансированы, а цена ошибок сопоставима.
- Нужна одна метрика для быстрого сравнения.
Не брать, если
- Цена ошибок различается в разы — берите или экономическую метрику.
- Нужны калиброванные вероятности, а не решения по порогу.
Чем заменяют
Связанные темы
Прикладные задачи NLP · Качество классификации
Precision96%
Точность · МетрикиКакая доля объектов, предсказанных положительными, действительно положительна.
Recall96%
Полнота · МетрикиКакая доля реально положительных объектов найдена моделью.
Accuracy85%
Доля правильных ответов · МетрикиДоля верных предсказаний среди всех. Понятна всем и обманчива при дисбалансе классов.
ROC-AUC85%
ROC-AUC · МетрикиВероятность, что случайный положительный объект получит больший скор, чем случайный отрицательный.
PR-AUC85%
PR-AUC · МетрикиПлощадь под кривой precision–recall; честнее ROC-AUC при редком положительном классе.
Log Loss85%
Логарифмические потери · МетрикиОценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.
MCC85%
Коэффициент Мэтьюса · МетрикиКорреляция между предсказаниями и истиной, учитывающая все четыре ячейки матрицы ошибок.
Calibration85%
Калибровка · Оценка моделейСоответствие предсказанных вероятностей реальным частотам событий.
Logistic Regression85%
Логистическая регрессия · Классическое машинное обучениеЛинейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.
Text classification75%
Классификация текстов · Обработка естественного языкаОтнесение документа к одной или нескольким категориям: от спам-фильтра до маршрутизации тикетов.
NER75%
Извлечение именованных сущностей · Обработка естественного языкаРазметка последовательности: находим в тексте имена, организации, даты, суммы.
Sentiment Analysis75%
Анализ тональности · Обработка естественного языкаОпределение эмоциональной окраски текста — от бинарной оценки до аспектной тональности.
BERT75%
BERT · Обработка естественного языкаДвунаправленный энкодер, предобученный на восстановлении замаскированных токенов.
Embeddings75%
Эмбеддинги · Обработка естественного языкаПлотные векторные представления объектов, где геометрическая близость означает смысловое сходство.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Гармоническое среднее
: значение прижимается к меньшей из двух величин.
Разбор ниже: Почему среднее гармоническоеMacro-усреднение
Среднее по классам без учёта их размера: редкие классы равноправны.
Разбор ниже: Macro, micro и weightedMicro-усреднение
Суммируются TP, FP, FN по всем классам — большие классы доминируют.
Разбор ниже: Macro, micro и weightedWeighted
Среднее с весами по размеру класса: компромисс, но маскирует провалы на редких классах.
Разбор ниже: Macro, micro и weightedСпрашивают на собеседовании: Wildberries — Каталог, поиск и атрибуты, Lamoda — Зрение и атрибуты каталога, HeadHunter — Тексты вакансий и резюме, 1С — Документы и распознавание, СКБ Контур — Документы и распознавание, Росатом — Документооборот и NLP.
Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.