Pose and Keypoints

Определение положения суставов человека или характерных точек объекта — база для спортивной аналитики, эргономики и контроля процессов.

Ключевые тезисы

Top-down: сначала детекция человека, затем точки внутри рамки; bottom-up — наоборот.
Heatmap-подход предсказывает карту вероятности для каждой точки и устойчивее прямой регрессии координат.
Метрика OKS — аналог IoU для точек с учётом масштаба объекта.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Top-down и bottom-up

Два способа найти точки на изображении.

	Top-down	Bottom-up
Схема	детекция человека → точки внутри рамки	все точки сразу → группировка
Точность	выше	ниже при перекрытиях
Скорость	падает с числом людей	почти не зависит
Когда	1–5 человек в кадре	толпа

Heatmap вместо координат

Почему прямая регрессия координат работает хуже.

Модель предсказывает карту вероятности для каждой точки, а координата берётся как максимум. Такой подход устойчивее к неопределённости (сустав может быть частично скрыт) и даёт градиент по всей карте, а не в одной точке.

OKS = \frac{\sum _{i} exp ( - d _{i}^{2} /2 s ^{2} k _{i}^{2} ) δ ( v _{i} > 0 )}{\sum _{i} δ ( v _{i} > 0 )}

Обозначения

$Δ$ приращение — малое изменение величины
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$\sum$ суммирование по всем перечисленным элементам
$exp$ экспонента

OKS — аналог IoU для точек, учитывает масштаб объекта и «сложность» сустава

Связанные темы

Видео и последовательности кадров

Ключевые тезисы

Подробный разбор

Top-down и bottom-up

Heatmap вместо координат

Связанные темы

Object Tracking80%

Object Detection80%

Kalman Filter80%