Сопоставление детекций между кадрами: кто из объектов на новом кадре — тот же самый, что и раньше.
Ключевые тезисы
- Tracking-by-detection: детектор на каждом кадре плюс алгоритм сопоставления (SORT, ByteTrack).
- предсказывает положение объекта, венгерский алгоритм решает задачу назначения.
- Главные метрики — MOTA и IDF1: важны не только рамки, но и стабильность идентификаторов.
Подробный разбор
- Детектор находит объекты на кадре.
- предсказывает, где должен быть каждый существующий трек.
- стоимости ( и/или похожесть внешнего вида) связывает с треками.
- Венгерский алгоритм решает задачу назначения; несопоставленные порождают новые треки.
ByteTrack добавил простую, но важную идею: использовать и с низкой уверенностью — они часто соответствуют частично перекрытым объектам.
| Метрика | Что измеряет |
|---|---|
| MOTA | суммарно пропуски, ложные и подмены идентификаторов |
| IDF1 | насколько стабильно сохраняется идентификатор объекта |
| HOTA | баланс качества и ассоциации |
Практический смысл: система может отлично находить объекты и при этом постоянно менять им идентификаторы — для подсчёта людей или анализа маршрутов это провал.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Компьютерное зрение» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Видео и последовательности кадров · Метрики зрения
Object Detection97%
Детекция объектов · Компьютерное зрениеПоиск объектов на изображении с указанием класса и ограничивающей рамки.
IoU85%
Intersection over Union · МетрикиДоля пересечения к объединению предсказанной и истинной области — базовая метрика детекции и сегментации.
Tracking Metrics85%
Метрики трекинга · МетрикиMOTA, IDF1 и HOTA: качество трекинга — это не только найденные объекты, но и стабильность их идентификаторов.
Segmentation85%
Сегментация · Компьютерное зрениеКлассификация на уровне пикселей: семантическая, инстанс- и паноптическая.
Pose and Keypoints80%
Ключевые точки и поза · Компьютерное зрениеОпределение положения суставов человека или характерных точек объекта — база для спортивной аналитики, эргономики и контроля процессов.
Kalman Filter80%
Фильтр Калмана · Временные рядыРекуррентная оценка скрытого состояния системы по зашумлённым наблюдениям. Оптимален для линейных систем с гауссовым шумом.
Спрашивают на собеседовании: Яндекс — Computer Vision, VK — Зрение и модерация контента, Dodo Brands — Зрение на кухне, Ростелеком — Видеоаналитика.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Компьютерное зрение» последний раз правилась . Нашли ошибку — напишите.