Приведение картинок к единому формату и , расширяющие обучающую выборку.
Ключевые тезисы
- Resize, по статистикам датасета, приведение цветовых каналов.
- (flip, crop, color jitter, MixUp) — самая дешёвая в CV.
- применяются только к train, но должны быть согласованы с доменом.
Подробный разбор
- Resize / crop: сети обычно ждут фиксированный размер (224×224, 384×384). Центрированный кроп на , случайный — на обучении.
- Каналы: OpenCV читает BGR, PyTorch ждёт RGB — классический источник тихих багов.
- Нормализация: вычесть среднее и поделить на std, посчитанные по датасету предобучения (для ImageNet это фиксированные константы).
- стандартное отклонение — разброс величины
- среднее значение
- объект: вектор признаков
| Что даёт | Когда опасна | |
|---|---|---|
| Горизонтальный флип | инвариантность к зеркалу | текст, цифры, медицина с латеральностью |
| Случайный кроп / масштаб | инвариантность к положению | если объект мелкий и может вылететь |
| Цветовой джиттер | устойчивость к освещению | когда цвет — сам |
| MixUp / CutMix | , | без адаптации разметки |
применяются только к обучающей выборке. Test-time augmentation — отдельный приём: усреднение предсказаний по нескольким версиям одного изображения обычно даёт небольшой стабильный прирост.
должна порождать примеры, которые могли бы встретиться в реальных данных с той же меткой. Если преобразование меняет то, что модель обязана различать, оно не расширяет выборку, а портит её.
| Задача | Опасное преобразование | Почему |
|---|---|---|
| Распознавание цифр и символов | горизонтальное отражение | 6 и 9, b и d становятся другим классом |
| Контроль ориентации детали | поворот | ориентация и есть целевой |
| Определение спелости, диагностика по цвету | color jitter, смена баланса белого | цвет — основной сигнал |
| Медицинские снимки | зеркалирование по горизонтали | право и лево несут смысл (situs inversus) |
| и | кроп без пересчёта разметки | рамки и маски перестают соответствовать пикселям |
- Сначала опишите, к чему задача должна быть инвариантна, и только потом подбирайте преобразования.
- применяются к train; валидация и тест остаются в исходном виде (кроме детерминированного TTA).
- Слишком сильная уводит распределение обучения от продакшена — это тоже разрыв доменов.
Видеолекции
Записи университетских курсов, где эта тема звучит. Где у записи есть тайм-коды, ссылка открывает её с нужной секунды; где их не проставили — с начала.
Связанные темы
Свёртки и зрение
CNN85%
Свёрточные сети · Глубокое обучениеРазделяемые фильтры скользят по изображению, выявляя локальные паттерны с трансляционной инвариантностью.
CNN85%
Свёрточные сети в CV · Компьютерное зрениеБазовая архитектура зрения: иерархия фильтров от краёв до семантических частей объектов.
Image Classification85%
Классификация изображений · Компьютерное зрениеОтнесение всего изображения к одному или нескольким классам — базовая задача зрения.
Object Detection85%
Детекция объектов · Компьютерное зрениеПоиск объектов на изображении с указанием класса и ограничивающей рамки.
Segmentation85%
Сегментация · Компьютерное зрениеКлассификация на уровне пикселей: семантическая, инстанс- и паноптическая.
Feature extraction85%
Извлечение признаков · Компьютерное зрениеОт ручных дескрипторов (SIFT, HOG) до эмбеддингов предобученных сетей.
Профильная компетенция для роли: CV-инженер.
Спрашивают на собеседовании: Яндекс — Computer Vision, Сбер — Computer Vision, 2ГИС — Зрение и данные о городе, Ростелеком — Видеоаналитика, 1С — Документы и распознавание, СКБ Контур — Документы и распознавание, Северсталь — Зрение в контроле качества.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Компьютерное зрение» последний раз правилась . Нашли ошибку — напишите.