Развитие многовидовых трансформеров

Что разбирают и где

Тайм-коды записи, разобранные по темам атласа: под главой стоят темы, которые в ней названы, — из лекции можно уйти в текстовый разбор и вернуться.

Смотреть запись · Развитие многовидовых трансформеров

Нажатие на тайм-код перематывает запись, не перезагружая страницу. Открыть на YouTube ↗

1. 0:25Введение и организационные моменты
2. 1:12Перерыв (≈24.7 мин)
3. 25:52Начало лекции и технические детали
4. 27:30Введение в тему: развитие многовидовых трансформеровTransformers
5. 27:57Повторение: оценка глубины и стереозрениеMonocular Depth EstimationStereo Depth
6. 28:52Архитектуры для стереоглубины (3D и 2D свёртки)CNN
7. 29:29Переход к более простым инженерным задачам
8. 29:46Архитектуры UNET и DPT для моно-глубины
9. 30:33Концепция Point Map и её отличие от карт глубиныMAP
10. 31:35Работа Duster (декабрь 2023): архитектура и принципыMonocular Depth Estimation
11. 32:51Компонент уверенности в предсказаниях DusterMonocular Depth Estimation
12. 34:32План лекции: развитие области после DusterMonocular Depth Estimation
13. 35:37Ограничения Duster: анализ на датасете DTUMonocular Depth Estimation
14. 37:40Сравнение подходов к оценке позиций камер
15. 42:20Идея предсказания соответствий вместо Point MapLocal Features and MatchingMAP
16. 47:05Работа Master: добавление выхода для соответствийLocal Features and Matching
17. 49:00Сбор данных и обучение с InfoNCE Loss
18. 53:26Master: применение и победа в соревновании
19. 56:55Master как дообучение (fine-tuning) DusterFine-tuningMonocular Depth Estimation
20. 1:00:05Технические детали: эффективный поиск соответствийLocal Features and Matching
21. 1:02:12Master для трёхмерной реконструкции
22. 1:05:21Ограничение: работа только с парами изображений
23. 1:06:03Работа Master SFM для наборов изображенийStructure from Motion
24. 1:08:40Построение графа обхода на основе признаковFeature engineeringGraph Basics
25. 1:10:56Метрики и сравнение Master SFM с аналогамиStructure from Motion
26. 1:14:47Данные для обучения: датасет CO3D и его ограничения
27. 1:17:13Идея фид-форвард подхода для наборов кадров
28. 1:18:51Работа VGGT (Best Paper Award CVPR 2025)
29. 1:20:23Демонстрация работы VGGT на примере лестницы
30. 1:23:23Архитектура VGGT: эмбеддинги камер и изображенийEmbeddings
31. 1:26:45Многозадачные предсказания VGGT (глубина, Point Map, треки)MAP
32. 1:29:22Устройство внимания в VGGT: глобальное и кадровоеAttention
33. 1:32:07Обучение VGGT: данные и их источники
34. 1:35:18Качество работы VGGT: оценка облаков точекPoint Clouds
35. 1:36:37Время работы и масштабируемость VGGT
36. 1:38:19VGGT для монокулярной оценки глубиныMonocular Depth Estimation
37. 1:39:38Обобщение VGGT на динамические сцены
38. 1:42:06Исторический контекст: почему прогресс случился сейчас
39. 1:44:27Point Map как ключевая концепция для успехаMAP
40. 1:46:37Развитие: VideoDance Point Maps для динамикиDynamic Programming
41. 1:50:28Концептуальное значение VGGT в AI-ландшафте
42. 1:53:28Мировые модели (World Models) и GeniePlanning and World Models
43. 2:00:43Анонс следующей темы: обработка облаков точекPoint Clouds
44. 2:04:45Финальная демонстрация работы VGGT