Segmentation — Сегментация

Классификация на уровне пикселей: семантическая, инстанс- и паноптическая.

Ключевые тезисы

U-Net со скип-связями — стандарт в медицине и спутниковых снимках.
Метрики: IoU (Jaccard) и Dice.
SAM показал, что сегментация может быть промптируемой и zero-shot.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Три вида сегментации

Семантическая, инстанс- и паноптическая.

Тип	Что различает	Пример вопроса
Семантическая	классы пикселей	где на снимке дорога
Инстанс	отдельные объекты	сколько машин и где каждая
Паноптическая	и то, и другое	полная разметка сцены

Dice = \frac{2∣ A \cap B ∣}{∣ A ∣ + ∣ B ∣}, IoU = \frac{∣ A \cap B ∣}{∣ A \cup B ∣}

U-Net остаётся рабочей лошадкой: энкодер сжимает, декодер восстанавливает разрешение, а скип-связи возвращают потерянные детали границ. В медицине и спутниковых снимках это по-прежнему первый выбор.

Функции потерь для сегментации

Почему кросс-энтропии часто недостаточно.

L_{Dice} = 1 - \frac{2 \sum _{i} p _{i} g _{i} + ε}{\sum _{i} p _{i} + \sum _{i} g _{i} + ε}

Обозначения

$ε$ малая величина: шум, допуск или защита от деления на ноль
$p$ вероятность (или плотность распределения)
$L$ функция потерь — то, что минимизируется при обучении
$\sum$ суммирование по всем перечисленным элементам

При маленьком объекте на большом фоне кросс-энтропия почти полностью определяется фоном.
Dice loss напрямую оптимизирует перекрытие и устойчив к дисбалансу.
На практике часто берут сумму: BCE + Dice — так сохраняется и стабильность градиента, и фокус на объекте.
Для тонких границ добавляют boundary loss или взвешивают пиксели у краёв.

Связанные темы

Свёртки и зрение

CNN85%

Свёрточные сети · Глубокое обучение

Разделяемые фильтры скользят по изображению, выявляя локальные паттерны с трансляционной инвариантностью.

CNN85%

Свёрточные сети в CV · Компьютерное зрение

Базовая архитектура зрения: иерархия фильтров от краёв до семантических частей объектов.

Image Classification85%

Классификация изображений · Компьютерное зрение

Отнесение всего изображения к одному или нескольким классам — базовая задача зрения.

Object Detection85%

Детекция объектов · Компьютерное зрение

Поиск объектов на изображении с указанием класса и ограничивающей рамки.

Feature extraction85%

Извлечение признаков · Компьютерное зрение

От ручных дескрипторов (SIFT, HOG) до эмбеддингов предобученных сетей.

Image preprocessing85%

Предобработка изображений · Компьютерное зрение

Приведение картинок к единому формату и аугментации, расширяющие обучающую выборку.