Метрики

Tracking Metrics

Метрики трекинга

актуальноТекущий рабочий стандарт

Направления: Прикладные направления · Компьютерное зрение

MOTA, IDF1 и HOTA: качество трекинга — это не только найденные объекты, но и стабильность их идентификаторов.

Обозначения
  • ложные срабатывания: модель сказала «да», а это неправда
  • пропуски: модель сказала «нет», а объект был положительным
  • суммирование по всем перечисленным элементам
IDSW — переключения идентификаторов; метрика может быть отрицательной, если ошибок больше, чем объектов

Ключевые тезисы

  • MOTA складывает три беды кадр за кадром: пропуски, ложные срабатывания и подмены идентификаторов.
  • IDF1 смотрит на траектории целиком: как долго трек сохранял правильный идентификатор.
  • HOTA разделяет качество и качество ассоциации — по ней видно, что именно чинить.

Подробный разбор

1 подтема — объяснения, формулы, примеры и интерактивные графики.

Обозначения
  • ложные срабатывания: модель сказала «да», а это неправда
  • пропуски: модель сказала «нет», а объект был положительным
  • суммирование по всем перечисленным элементам
Пропуски, ложные срабатывания и подмены идентификаторов — суммарно по всем кадрам
  • FN — объект был, но не найден; FP — найден несуществующий; IDSW — трек сменил идентификатор на том же объекте.
  • MOTA доминируется детекцией: ошибок обнаружения обычно на порядок больше, чем подмен идентификаторов.
  • IDF1 смотрит на траектории целиком — какая доля времени трек нёс правильный идентификатор; чувствительна именно к ассоциации.
  • HOTA явно раскладывается на качество и качество ассоциации, поэтому по ней видно, что чинить.
На практике

MOTA может быть отрицательной: если ложных срабатываний больше, чем реальных объектов, числитель превышает знаменатель. Это не ошибка формулы, а честный сигнал о состоянии трекера.

Связанные темы

Метрики зрения

Кому эта тема нужна

Спрашивают на собеседовании: ЯндексComputer Vision, РостелекомВидеоаналитика.

Проверить себя

Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.

Следующий шагПроверить себя: Computer VisionТема встречается в этом тесте 1 раз. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →

Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.