MOTA, IDF1 и HOTA: качество трекинга — это не только найденные объекты, но и стабильность их идентификаторов.
- ложные срабатывания: модель сказала «да», а это неправда
- пропуски: модель сказала «нет», а объект был положительным
- суммирование по всем перечисленным элементам
Ключевые тезисы
- MOTA складывает три беды кадр за кадром: пропуски, ложные срабатывания и подмены идентификаторов.
- IDF1 смотрит на траектории целиком: как долго трек сохранял правильный идентификатор.
- HOTA разделяет качество и качество ассоциации — по ней видно, что именно чинить.
Подробный разбор
- ложные срабатывания: модель сказала «да», а это неправда
- пропуски: модель сказала «нет», а объект был положительным
- суммирование по всем перечисленным элементам
- FN — объект был, но не найден; FP — найден несуществующий; IDSW — трек сменил идентификатор на том же объекте.
- MOTA доминируется детекцией: ошибок обнаружения обычно на порядок больше, чем подмен идентификаторов.
- IDF1 смотрит на траектории целиком — какая доля времени трек нёс правильный идентификатор; чувствительна именно к ассоциации.
- HOTA явно раскладывается на качество и качество ассоциации, поэтому по ней видно, что чинить.
MOTA может быть отрицательной: если ложных срабатываний больше, чем реальных объектов, числитель превышает знаменатель. Это не ошибка формулы, а честный сигнал о состоянии трекера.
Связанные темы
Метрики зрения
IoU85%
Intersection over Union · МетрикиДоля пересечения к объединению предсказанной и истинной области — базовая метрика детекции и сегментации.
Object Detection85%
Детекция объектов · Компьютерное зрениеПоиск объектов на изображении с указанием класса и ограничивающей рамки.
Segmentation85%
Сегментация · Компьютерное зрениеКлассификация на уровне пикселей: семантическая, инстанс- и паноптическая.
Object Tracking85%
Трекинг объектов · Компьютерное зрениеСопоставление детекций между кадрами: кто из объектов на новом кадре — тот же самый, что и раньше.
Спрашивают на собеседовании: Яндекс — Computer Vision, Ростелеком — Видеоаналитика.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.