Отнесение всего изображения к одному или нескольким классам — базовая задача зрения.
Ключевые тезисы
- предобученного бэкбона почти всегда лучше обучения с нуля.
- Top-1 и top-5 — стандартные метрики.
- Дисбаланс и «шумные» метки — типичные проблемы реальных датасетов.
Какую задачу решает
Классификация изображений — базовая задача зрения: одна метка на кадр. Её практическая ценность в том, что она дешевле всех остальных по разметке (метка на изображение, а не рамка или маска) и при этом закрывает большой класс прикладных задач: годен или брак, какой вид растения, какая категория товара.
Сегодня это почти всегда не обучение с нуля, а предобученной сети. На тысяче изображений своя модель с нуля даст качество на уровне угадывания, а дообученный ResNet или — рабочее решение за час. Основная работа переносится из архитектуры в данные: их сбор, и разбор ошибок.
Горизонтальное отражение — почти универсальная , и почти всегда безобидная. Но в задаче распознавания рукописных символов или дорожных знаков с текстом оно превращает объект в то, чего не бывает, и модель учится на несуществующем распределении. То же с поворотами на 90° для медицинских снимков с фиксированной ориентацией. Правило простое: аугментация допустима ровно тогда, когда преобразованное изображение могло бы реально встретиться в проде с той же меткой.
Подробный разбор
- Взять предобученный бэкбон, заменить последний слой на свой.
- Обучить только голову (2–3 эпохи, lr ).
- Разморозить всё, дообучить с малым lr ( и ниже), с cosine-расписанием.
- Включить , label smoothing и .
лечится взвешенной функцией потерь или сэмплером; при сильном дисбалансе смотрите на per-class , а не на общую .
- Матрица ошибок по классам — обычно путаются две-три конкретные пары.
- Самые уверенные ошибки — часто это ошибки разметки.
- Grad-CAM: если модель смотрит на фон, а не на объект, у вас утечка через контекст съёмки.
- Дубликаты между train и test — проверяйте по хешам и перцептивным хешам.
Классический пример утечки в CV: снимки больных сделаны на одном аппарате, здоровых — на другом. Модель учится различать аппараты и показывает 0.99 на тесте.
Где применяется
- Контроль качестваГоден или брак по фотографии изделия.
- Модерация контентаФильтрация нежелательных изображений.
- КаталогизацияАвтоматическое присвоение категории товару по фото.
- Медицина и биологияКлассификация снимков и образцов.
- Сельское хозяйствоОпределение болезней растений по фотографии листа.
Плюсы, минусы и альтернативы
Плюсы
- Самая дешёвая разметка среди задач зрения.
- Предобученные модели доводятся до рабочего качества на сотнях примеров.
- быстрый и умещается на устройстве.
- Метрики и инструменты диагностики хорошо отработаны.
Минусы
- Одна метка на изображение: несколько объектов не различить.
- Не даёт положения объекта.
- Чувствительна к сдвигу условий съёмки.
- Уязвима к состязательным примерам.
- На неоднозначных изображениях упирается в согласованность разметки людей.
Брать, если
- На изображении один значимый объект или интересует изображение целиком.
- Есть или можно собрать сотни примеров на класс.
Не брать, если
- Объектов несколько и важно их количество или положение — берите детекцию.
- Нужны границы объекта — .
Чем заменяют
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Компьютерное зрение» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Свёртки и зрение
CNN85%
Свёрточные сети · Глубокое обучениеРазделяемые фильтры скользят по изображению, выявляя локальные паттерны с трансляционной инвариантностью.
CNN85%
Свёрточные сети в CV · Компьютерное зрениеБазовая архитектура зрения: иерархия фильтров от краёв до семантических частей объектов.
Object Detection85%
Детекция объектов · Компьютерное зрениеПоиск объектов на изображении с указанием класса и ограничивающей рамки.
Segmentation85%
Сегментация · Компьютерное зрениеКлассификация на уровне пикселей: семантическая, инстанс- и паноптическая.
Feature extraction85%
Извлечение признаков · Компьютерное зрениеОт ручных дескрипторов (SIFT, HOG) до эмбеддингов предобученных сетей.
Image preprocessing85%
Предобработка изображений · Компьютерное зрениеПриведение картинок к единому формату и аугментации, расширяющие обучающую выборку.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Дообучение бэкбона
Замена головы и адаптация предобученной сети: стандартный рецепт при малых данных.
Разбор ниже: Рецепт дообученияАугментация
Повороты, кропы, изменение цвета: расширяет данные и делает модель устойчивее.
Отдельная тема: Image preprocessing · АугментацииМатрица ошибок
Показывает, какие классы модель путает между собой, — основа для работы над данными.
Разбор ниже: Диагностика классификатораДисбаланс классов
Редкие категории требуют весов, правильных метрик и подобранного порога.
Разбор ниже: Диагностика классификатораСдвиг домена
Другая камера, освещение или фон — качество падает без изменения самой задачи.
Разбор ниже: Диагностика классификатораПрофильная компетенция для роли: CV-инженер.
Спрашивают на собеседовании: Авито — Модерация контента, VK — Зрение и модерация контента, Lamoda — Рекомендации и поиск, Lamoda — Зрение и атрибуты каталога, Dodo Brands — Зрение на кухне, Циан — Поиск, ранжирование и достоверность, Северсталь — Зрение в контроле качества, Росатом — Промышленный ИИ.
Глава «Компьютерное зрение» последний раз правилась . Нашли ошибку — напишите.