Компьютерное зрение

Pose and Keypoints

Ключевые точки и поза

актуальноТекущий рабочий стандарт

Направления: Прикладные направления · Компьютерное зрение

Определение положения суставов человека или характерных точек объекта — база для спортивной аналитики, эргономики и контроля процессов.

Ключевые тезисы

  • Top-down: сначала человека, затем точки внутри рамки; bottom-up — наоборот.
  • Heatmap-подход предсказывает карту вероятности для каждой точки и устойчивее прямой регрессии координат.
  • Метрика OKS — аналог для точек с учётом масштаба объекта.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Top-downBottom-up
Схема человека → точки внутри рамкивсе точки сразу → группировка
Точностьвышениже при перекрытиях
Скоростьпадает с числом людейпочти не зависит
Когда1–5 человек в кадретолпа

Модель предсказывает карту вероятности для каждой точки, а координата берётся как максимум. Такой подход устойчивее к неопределённости (сустав может быть частично скрыт) и даёт по всей карте, а не в одной точке.

Обозначения
  • приращение — малое изменение величины
  • номер или количество: индекс шага, число соседей, кластеров или позиций
  • суммирование по всем перечисленным элементам
  • экспонента
OKS — аналог для точек, учитывает масштаб объекта и «сложность» сустава
Тема также относится к главам:Трёхмерное зрениеРеконструкция сцены

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «Компьютерное зрение» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.

Связанные темы

Многовидовая реконструкция · Видео и последовательности кадров

Local Features and Matching90%

Локальные признаки и соответствия · Трёхмерное зрение

Чтобы связать два снимка, нужно найти на них одни и те же точки. Детектор находит выделяющиеся места, дескриптор описывает окрестность так, чтобы описание пережило поворот и смену масштаба.

Epipolar Geometry90%

Эпиполярная геометрия · Трёхмерное зрение

Точка на одном снимке задаёт на другом не точку, а прямую. Это сужает поиск соответствий с плоскости до линии и позволяет отбраковать ложные пары.

Fundamental and Essential Matrix90%

Фундаментальная и существенная матрицы · Трёхмерное зрение

Фундаментальная матрица кодирует эпиполярную геометрию в пикселях, существенная — в калиброванных лучах. Из второй извлекается взаимное положение камер.

Triangulation90%

Триангуляция · Трёхмерное зрение

Зная положение двух камер и пару соответствующих пикселей, восстанавливаем точку сцены: два луча в пространстве должны пересечься.

Structure from Motion90%

Восстановление структуры по движению · Трёхмерное зрение

По набору неупорядоченных снимков одновременно находим положения камер и трёхмерные точки сцены. Классическая основа фотограмметрии и вход почти любого 3D-пайплайна.

Bundle Adjustment90%

Уточнение связки · Трёхмерное зрение

Совместная нелинейная оптимизация всех камер и всех точек по одному критерию — суммарной ошибке репроекции. Шаг, который превращает грубую реконструкцию в точную.

Object Tracking80%

Трекинг объектов · Компьютерное зрение

Сопоставление детекций между кадрами: кто из объектов на новом кадре — тот же самый, что и раньше.

Object Detection80%

Детекция объектов · Компьютерное зрение

Поиск объектов на изображении с указанием класса и ограничивающей рамки.

Kalman Filter80%

Фильтр Калмана · Временные ряды

Рекуррентная оценка скрытого состояния системы по зашумлённым наблюдениям. Оптимален для линейных систем с гауссовым шумом.

Кому эта тема нужна

Спрашивают на собеседовании: Сбер — Computer Vision.

Следующий шагДальше по связи: Local Features and MatchingЧтобы связать два снимка, нужно найти на них одни и те же точки. Детектор находит выделяющиеся места, дескриптор описывает окрестность так, чтобы описание пережило поворот и смену масштаба.Перейти →

Глава «Компьютерное зрение» последний раз правилась . Нашли ошибку — напишите.