Классификация на уровне пикселей: семантическая, инстанс- и паноптическая.
Ключевые тезисы
- U-Net со скип-связями — стандарт в медицине и спутниковых снимках.
- Метрики: (Jaccard) и Dice.
- SAM показал, что может быть промптируемой и zero-shot.
Подробный разбор
| Тип | Что различает | Пример вопроса |
|---|---|---|
| Семантическая | классы пикселей | где на снимке дорога |
| Инстанс | отдельные объекты | сколько машин и где каждая |
| Паноптическая | и то, и другое | полная разметка сцены |
U-Net остаётся рабочей лошадкой: энкодер сжимает, декодер восстанавливает разрешение, а скип-связи возвращают потерянные детали границ. В медицине и спутниковых снимках это по-прежнему первый выбор.
- малая величина: шум, допуск или защита от деления на ноль
- вероятность (или плотность распределения)
- функция потерь — то, что минимизируется при обучении
- суммирование по всем перечисленным элементам
- При маленьком объекте на большом фоне почти полностью определяется фоном.
- Dice loss напрямую оптимизирует перекрытие и устойчив к дисбалансу.
- На практике часто берут сумму:
BCE + Dice— так сохраняется и стабильность , и фокус на объекте. - Для тонких границ добавляют boundary loss или взвешивают пиксели у краёв.
Видеолекции
Записи университетских курсов, где эта тема звучит. Где у записи есть тайм-коды, ссылка открывает её с нужной секунды; где их не проставили — с начала.
Связанные темы
Восстановление глубины · Свёртки и зрение · Метрики зрения
Object Detection98%
Детекция объектов · Компьютерное зрениеПоиск объектов на изображении с указанием класса и ограничивающей рамки.
Stereo Depth85%
Стереозрение и диспаритет · Трёхмерное зрениеДве камеры на известном расстоянии дают глубину напрямую: чем сильнее сдвинулась точка между снимками, тем она ближе.
Monocular Depth Estimation85%
Монокулярная оценка глубины · Трёхмерное зрениеГлубина по одному снимку. Геометрически задача неразрешима — модель опирается на выученные признаки: перекрытия, размеры знакомых предметов, перспективу, размытие.
Epipolar Geometry85%
Эпиполярная геометрия · Трёхмерное зрениеТочка на одном снимке задаёт на другом не точку, а прямую. Это сужает поиск соответствий с плоскости до линии и позволяет отбраковать ложные пары.
Point Clouds85%
Облака точек · Трёхмерное зрениеНабор трёхмерных точек без порядка и без сетки — то, что отдают лидар и SfM. Работать с ним свёрточной сетью нельзя: у данных нет регулярной решётки.
CNN85%
Свёрточные сети · Глубокое обучениеРазделяемые фильтры скользят по изображению, выявляя локальные паттерны с трансляционной инвариантностью.
CNN85%
Свёрточные сети в CV · Компьютерное зрениеБазовая архитектура зрения: иерархия фильтров от краёв до семантических частей объектов.
Image Classification85%
Классификация изображений · Компьютерное зрениеОтнесение всего изображения к одному или нескольким классам — базовая задача зрения.
Feature extraction85%
Извлечение признаков · Компьютерное зрениеОт ручных дескрипторов (SIFT, HOG) до эмбеддингов предобученных сетей.
Image preprocessing85%
Предобработка изображений · Компьютерное зрениеПриведение картинок к единому формату и аугментации, расширяющие обучающую выборку.
IoU85%
Intersection over Union · МетрикиДоля пересечения к объединению предсказанной и истинной области — базовая метрика детекции и сегментации.
Tracking Metrics85%
Метрики трекинга · МетрикиMOTA, IDF1 и HOTA: качество трекинга — это не только найденные объекты, но и стабильность их идентификаторов.
Object Tracking85%
Трекинг объектов · Компьютерное зрениеСопоставление детекций между кадрами: кто из объектов на новом кадре — тот же самый, что и раньше.
Профильная компетенция для роли: CV-инженер.
Спрашивают на собеседовании: Яндекс — Computer Vision, Сбер — Computer Vision, Lamoda — Зрение и атрибуты каталога, 2ГИС — Зрение и данные о городе, Ростелеком — Видеоаналитика, Северсталь — Зрение в контроле качества.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Компьютерное зрение» последний раз правилась . Нашли ошибку — напишите.