Согласие двух разметчиков или модели с разметкой с поправкой на случайные совпадения.
- наблюдаемое согласие минус то, что получилось бы случайно
- максимально возможное улучшение над случайностью. κ = 0 означает «не лучше монетки»
Ключевые тезисы
- Значение 0 означает согласие на уровне случайности, 1 — полное совпадение.
- Главное применение — оценка качества разметки до обучения модели.
- Взвешенная каппа учитывает, что путать соседние градации менее серьёзно.
Подробный разбор
| κ | Интерпретация |
|---|---|
| < 0.2 | слабое согласие |
| 0.2–0.4 | удовлетворительное |
| 0.4–0.6 | умеренное |
| 0.6–0.8 | существенное |
| > 0.8 | почти полное |
Каппа падает при сильном дисбалансе классов даже при высоком проценте совпадений — это её известный парадокс. При дисбалансе смотрите ещё и на согласия.
- Оценка согласия аннотаторов до начала обучения модели.
- Сравнение модели с человеком: κ модели против κ между людьми задаёт реалистичную планку.
- Взвешенная каппа для порядковых шкал: путать «4» и «5» менее серьёзно, чем «1» и «5».
Связанные темы
Разметка и слабый надзор · Качество генерации
Data Labeling85%
Разметка данных · ДанныеОрганизация разметки: инструкция, согласие аннотаторов и контроль качества. Потолок качества модели задаётся именно здесь.
Synthetic Data85%
Синтетические данные · ДанныеГенерация обучающих данных: аугментации, симуляторы и генеративные модели. Способ обойти дефицит разметки и ограничения приватности.
Active Learning85%
Активное обучение · Практика MLРазмечать в первую очередь те объекты, которые дадут наибольший прирост качества.
Weak Supervision85%
Слабая разметка · Практика MLПрограммная разметка эвристиками и правилами вместо ручной: быстро, шумно и часто достаточно.
Error analysis85%
Анализ ошибок · Оценка моделейРучной разбор случаев, где модель ошибается: почти всегда даёт больше, чем очередной перебор гиперпараметров.
FID and Generation Quality80%
FID и качество генерации · МетрикиМетрики визуальной генерации: расстояние между распределениями признаков реальных и сгенерированных изображений.
Text Generation Metrics80%
Метрики генерации текста · МетрикиBLEU, ROUGE и BERTScore: от совпадения n-грамм до сравнения смыслов через контекстные эмбеддинги.
Perplexity80%
Перплексия · МетрикиЭкспонента кросс-энтропии языковой модели: между сколькими равновероятными вариантами она в среднем выбирает.
LLM Evaluation80%
Оценка языковых моделей · Генеративный ИИКак измерять качество генерации: бенчмарки, оценка моделью-судьёй и человеческие сравнения.
Video Generation80%
Генерация видео · Генеративный ИИК качеству каждого кадра добавляется временная согласованность: объекты не должны мерцать и менять форму между кадрами.
Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.