Поиск объектов на изображении с указанием класса и ограничивающей рамки.
Ключевые тезисы
- Двухстадийные (Faster R-CNN) точнее, одностадийные (YOLO, SSD) быстрее.
- NMS убирает дублирующиеся рамки одного объекта.
- Основная метрика — при разных порогах .
Какую задачу решает
Классификация отвечает на вопрос «что изображено», — «что и где». К метке добавляется прямоугольник, а объектов на кадре может быть ноль, один или сотня. Именно переменное число выходов делает задачу принципиально сложнее классификации.
Все архитектуры решают одну и ту же проблему: как получить набор боксов и не выдать десять почти одинаковых рамок вокруг одного объекта. Двухэтапные модели сначала предлагают регионы, затем уточняют их; одноэтапные предсказывают всё сразу по сетке; (DETR) формулируют это как сопоставление фиксированного набора запросов объектам. Постобработка (NMS) убирает дубликаты почти везде, кроме DETR.
Модель контроля выкладки даёт @0.5 = 0.82 — звучит хорошо. Но mAP усредняет по всем классам и порогам, а вас интересует конкретное: не пропустить отсутствующий товар. Правильная оценка — на классе «пустое место» при рабочем пороге уверенности, плюс число ложных срабатываний на кадр, которое определит нагрузку на оператора. Докладывать полезно обе метрики: mAP для сравнения моделей между собой, рабочую пару /recall — для решения о внедрении.
Подробный разбор
- Отсортировать рамки по уверенности.
- Взять самую уверенную, добавить в ответ.
- Удалить все рамки, у которых с ней выше порога (обычно 0.5).
- Повторять, пока рамки не кончатся.
усредняет average по классам и по порогам (в COCO — от 0.5 до 0.95 с шагом 0.05). Поэтому mAP@0.5 и mAP@[.5:.95] — сильно разные числа, и их нельзя сравнивать между собой.
| Тип | Как работает | Примеры | Свойства |
|---|---|---|---|
| Двухстадийные | сначала регионы-кандидаты, затем классификация | Faster R-CNN | точнее, медленнее |
| Одностадийные | предсказание рамок сразу по сетке | YOLO, SSD, RetinaNet | быстрее, реальное время |
| набор запросов, без NMS | DETR, DINO | элегантнее, дольше обучаются |
Дисбаланс «фон против объектов» в одностадийных детекторах огромен — именно для этой задачи придумали focal loss.
Где применяется
- ВидеонаблюдениеПодсчёт людей и транспорта, контроль зон, охрана труда.
- Промышленный контрольПоиск дефектов на конвейере с указанием места.
- РозницаКонтроль выкладки на полках, распознавание товаров.
- Беспилотный транспортОбнаружение участников движения и знаков в реальном времени.
- Медицинская визуализацияЛокализация новообразований на снимках.
Плюсы, минусы и альтернативы
Плюсы
- Даёт положение объекта, а не только факт присутствия.
- Работает с произвольным числом объектов на кадре.
- Современные модели работают в реальном времени даже на скромном железе.
- Есть предобученные веса на больших наборах — требует немного данных.
Минусы
- Разметка дорога: рамка на каждый объект.
- Мелкие и перекрывающиеся объекты остаются трудным случаем.
- Порог уверенности и NMS требуют настройки под задачу.
- как единое число плохо отражает практические требования.
- Чувствительна к смене условий съёмки: свет, ракурс, оптика.
Брать, если
- Нужно знать, где именно находится объект.
- Объектов на кадре несколько и их число меняется.
Не брать, если
- Достаточно факта наличия объекта — классификация дешевле в разметке и обучении.
- Нужны точные контуры, а не рамки — это .
Чем заменяют
Видеолекции
Записи университетских курсов, где эта тема звучит. Где у записи есть тайм-коды, ссылка открывает её с нужной секунды; где их не проставили — с начала.
Связанные темы
Видео и последовательности кадров · Свёртки и зрение · Метрики зрения
Segmentation98%
Сегментация · Компьютерное зрениеКлассификация на уровне пикселей: семантическая, инстанс- и паноптическая.
Object Tracking97%
Трекинг объектов · Компьютерное зрениеСопоставление детекций между кадрами: кто из объектов на новом кадре — тот же самый, что и раньше.
CNN85%
Свёрточные сети · Глубокое обучениеРазделяемые фильтры скользят по изображению, выявляя локальные паттерны с трансляционной инвариантностью.
CNN85%
Свёрточные сети в CV · Компьютерное зрениеБазовая архитектура зрения: иерархия фильтров от краёв до семантических частей объектов.
Image Classification85%
Классификация изображений · Компьютерное зрениеОтнесение всего изображения к одному или нескольким классам — базовая задача зрения.
Feature extraction85%
Извлечение признаков · Компьютерное зрениеОт ручных дескрипторов (SIFT, HOG) до эмбеддингов предобученных сетей.
Image preprocessing85%
Предобработка изображений · Компьютерное зрениеПриведение картинок к единому формату и аугментации, расширяющие обучающую выборку.
IoU85%
Intersection over Union · МетрикиДоля пересечения к объединению предсказанной и истинной области — базовая метрика детекции и сегментации.
Tracking Metrics85%
Метрики трекинга · МетрикиMOTA, IDF1 и HOTA: качество трекинга — это не только найденные объекты, но и стабильность их идентификаторов.
Pose and Keypoints80%
Ключевые точки и поза · Компьютерное зрениеОпределение положения суставов человека или характерных точек объекта — база для спортивной аналитики, эргономики и контроля процессов.
Kalman Filter80%
Фильтр Калмана · Временные рядыРекуррентная оценка скрытого состояния системы по зашумлённым наблюдениям. Оптимален для линейных систем с гауссовым шумом.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Bounding box
Прямоугольник вокруг объекта: координаты плюс класс и уверенность.
Разбор ниже: Одностадийные и двухстадийныеIoU
Отношение площади пересечения к площади объединения. Порог определяет, считать ли предсказание верным.
Разбор ниже: IoU и подавление немаксимумовNMS
Подавление немаксимумов: из группы пересекающихся боксов остаётся самый уверенный.
Разбор ниже: IoU и подавление немаксимумовОдноэтапные и двухэтапные
YOLO и SSD против Faster R-CNN: скорость против точности на мелких объектах.
Разбор ниже: Одностадийные и двухстадийныеmAP
Средняя точность по классам и порогам — стандартная метрика .
Отдельная тема: MAP — Средняя усреднённая точностьПрофильная компетенция для роли: CV-инженер.
Спрашивают на собеседовании: Яндекс — Computer Vision, Сбер — Computer Vision, Авито — Модерация контента, VK — Зрение и модерация контента, Lamoda — Зрение и атрибуты каталога, Dodo Brands — Зрение на кухне, 2ГИС — Зрение и данные о городе, Ростелеком — Видеоаналитика, 1С — Документы и распознавание, СКБ Контур — Документы и распознавание, Северсталь — Зрение в контроле качества.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Компьютерное зрение» последний раз правилась . Нашли ошибку — напишите.