Параметрическая модель тела SMPL

Что разбирают и где

Тайм-коды записи, разобранные по темам атласа: под главой стоят темы, которые в ней названы, — из лекции можно уйти в текстовый разбор и вернуться.

Смотреть запись · Параметрическая модель тела SMPL

Нажатие на тайм-код перематывает запись, не перезагружая страницу. Открыть на YouTube ↗

1. 0:57Введение в моделирование виртуальных людей
2. 2:20Мотивация и применение моделей человеческих тел
3. 5:09Проблемы параметризации геометрии человека
4. 7:28Представление модели SMPL и её целиParametric Body Models
5. 10:55Параметры формы (β) и позы (θ) в SMPLParametric Body Models
6. 11:46Параметризация позы через скелет и суставы
7. 13:32Кинематические цепочки для описания позыRotation Representations
8. 13:50Представление поворотов: углы Эйлера и формула РодригоRotation Representations
9. 17:41Применение формулы Родриго для параметризации позы
10. 19:51Матрицы движения и кинематические цепочки на примереRotation RepresentationsMatrix
11. 26:05Проблемы кинематических цепочек и анимация телRotation Representations
12. 27:39Linear Blend Skinning (LBS): анимация через веса вершин
13. 31:58Ограничения Linear Blend Skinning и артефакты
14. 35:59Исправление артефактов: техника Blend Shapes
15. 39:12Применение Blend Shapes в SMPL для коррекции деформацийParametric Body Models
16. 42:31Обучение параметров SMPL на данных скановParametric Body Models
17. 44:27Общий пайплайн SMPL: форма, поза, блендшейпы, скиннингParametric Body ModelsML Pipelines
18. 47:10Итоговая формула и параметры модели SMPLParametric Body Models
19. 50:29Сравнение стандартного скиннинга и SMPLParametric Body Models
20. 51:10Линейная модель для позозависимых блендшейповParametric Body Models
21. 53:50Предсказание позиций суставов (матрица-регрессор)
22. 56:34PCA для параметризации формы тела (β-параметры)PCA
23. 58:38Финальная сборка формулы SMPLParametric Body Models
24. 1:02:53Сбор данных и обучение модели SMPLParametric Body Models
25. 1:06:02Предобработка данных: сканы, стандартизация сеткиData preprocessingNormalization & Standardization
26. 1:09:10Оптимизация параметров SMPL на датасетеOptimizationParametric Body Models
27. 1:11:12Количество параметров в обученной модели SMPLParametric Body Models
28. 1:14:00Расширения и ограничения модели SMPLParametric Body Models
29. 1:15:40Задачи, решаемые на основе SMPL (реконструкция по фото)Parametric Body Models
30. 1:19:30Перерыв (≈14.7 мин)
31. 1:34:10Начало семинара: применение SMPL на практикеParametric Body Models
32. 1:36:33Введение в задачу 3D-реконструкции человека
33. 1:38:20Теоретическое повторение устройства SMPLParametric Body Models
34. 1:44:45Параметры формы (β) в SMPL: PCA и примерыPCAParametric Body Models
35. 1:54:59Параметры позы (θ) и дерево кинематики
36. 1:56:13Вычисление позиций суставов (матрица-регрессор)
37. 2:00:33Linear Blend Skinning (LBS) на практике
38. 2:08:14Визуализация весов вершин и плавности деформаций
39. 2:11:00Полный пайплайн SMPL: от β и θ до мешаML PipelinesParametric Body Models
40. 2:12:11Pose-dependent Blend Shapes в действии
41. 2:17:05Пайплайн реконструкции SMPL из мультивью данныхML PipelinesParametric Body Models
42. 2:19:12Детекция человека (YOLO) и предсказание ключевых точек (ViTPose)Local Features and MatchingObject Detection
43. 2:25:41Триангуляция ключевых точек в 3DLocal Features and MatchingTriangulation
44. 2:26:08Проблема соответствия ключевых точек COCO и суставов SMPLLocal Features and MatchingParametric Body Models
45. 2:28:32Оптимизация параметров SMPL по 3D ключевым точкамOptimizationParametric Body Models
46. 2:33:54Оценка результата оптимизации по ключевым точкам
47. 2:35:14Уточнение модели оптимизацией по маскам (IoU loss)IoU
48. 2:37:53Дифференцируемый рендеринг (PyTorch3D) для сравнения масокRendering
49. 2:39:59Результат оптимизации по маскам и его оценка
50. 2:41:15Последовательная оптимизация по кадрам видеоOptimization
51. 2:44:11Ограничения последовательной оптимизации и тряска
52. 2:45:04Альтернатива: глобальная оптимизация по всему видеоOptimization
53. 2:46:26Применение SMPL для анимации реальных сканов с одеждойParametric Body Models
54. 2:48:54Обучение кастомных весов скиннинга и регрессора для своего меша
55. 2:49:59Демонстрация результата последовательной оптимизации по видео
56. 2:51:00Инструкции по запуску кода и требования к окружению