От ручных (SIFT, HOG) до предобученных сетей.
Ключевые тезисы
- Классические устойчивы к масштабу и повороту.
- Сегодня чаще берут из предпоследнего слоя предобученной сети.
- Такие работают для поиска похожих изображений и .
Подробный разбор
- SIFT / ORB — ключевые точки, устойчивые к масштабу и повороту; до сих пор применяются в SLAM, склейке панорам и сопоставлении изображений.
- HOG — гистограммы направлений ; классика пешеходов.
- Признаки из сети — предпоследнего слоя предобученной модели; работают как универсальный изображения.
model = timm.create_model("resnet50", pretrained=True, num_classes=0)
model.eval()
with torch.no_grad():
emb = model(batch) # (B, 2048) — готовые признаки
emb = torch.nn.functional.normalize(emb, dim=1) # для косинусного поиска- Прогнать все изображения через бэкбон и взять .
- L2-нормализовать их — тогда скалярное произведение станет косинусом.
- Построить ANN-индекс (FAISS, HNSW).
- Для запроса посчитать и найти .
ImageNet-модели хорошо работают на «обычных» фотографиях. Для специфичных доменов (медицина, спутники, промышленный контроль) их лучше дообучить контрастно на своих данных.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Компьютерное зрение» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Свёртки и зрение
CNN85%
Свёрточные сети · Глубокое обучениеРазделяемые фильтры скользят по изображению, выявляя локальные паттерны с трансляционной инвариантностью.
CNN85%
Свёрточные сети в CV · Компьютерное зрениеБазовая архитектура зрения: иерархия фильтров от краёв до семантических частей объектов.
Image Classification85%
Классификация изображений · Компьютерное зрениеОтнесение всего изображения к одному или нескольким классам — базовая задача зрения.
Object Detection85%
Детекция объектов · Компьютерное зрениеПоиск объектов на изображении с указанием класса и ограничивающей рамки.
Segmentation85%
Сегментация · Компьютерное зрениеКлассификация на уровне пикселей: семантическая, инстанс- и паноптическая.
Image preprocessing85%
Предобработка изображений · Компьютерное зрениеПриведение картинок к единому формату и аугментации, расширяющие обучающую выборку.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Компьютерное зрение» последний раз правилась . Нашли ошибку — напишите.