Gaussian Splatting

Что разбирают и где

Тайм-коды записи, разобранные по темам атласа: под главой стоят темы, которые в ней названы, — из лекции можно уйти в текстовый разбор и вернуться.

Смотреть запись · Gaussian Splatting

Нажатие на тайм-код перематывает запись, не перезагружая страницу. Открыть на YouTube ↗

1. 0:05Организационные вопросы и начало лекции
2. 3:27Демонстрация сканирования сцены на телефон
3. 7:05Импорт и визуализация скана в Blender
4. 11:14Введение в тему Gaussian Splatting3D Gaussian Splatting
5. 13:38Повторение: Neural Radiance Fields (NeRF)Neural Radiance Fields
6. 15:33Принцип Alpha Compositing
7. 17:10Ограничения NeRF: скорость рендерингаRenderingNeural Radiance Fields
8. 18:24Преимущества Gaussian Splatting: демократичностьAdvantage Function3D Gaussian Splatting
9. 19:39Параметризация сцены через смесь гауссианGMM
10. 22:14Сравнение параметризации NeRF и Gaussian Splatting3D Gaussian SplattingNeural Radiance Fields
11. 23:13Визуализация сплатов: от фотографии к мазкам3D Gaussian Splatting
12. 26:33Параметры плотности гауссиана
13. 29:13Параметризация матрицы ковариацииCovarianceMatrix
14. 32:30Параметризация цвета через сферические гармоники
15. 36:41Базисные функции на сфере
16. 40:13Важность алгоритма визуализации
17. 40:51Аналогия: Ray Tracing (NeRF) vs Rasterization (Splatting)Neural Radiance Fields
18. 42:20Свойство эллипса при проекции
19. 43:51Аппроксимация перспективной проекции для гауссианаPinhole Camera Model
20. 46:57Алгоритм рендеринга: растеризация и сортировкаRenderingSorting Algorithms
21. 48:38Комбинирование сплатов через Alpha Compositing3D Gaussian Splatting
22. 49:51Два столпа успеха Gaussian Splatting3D Gaussian Splatting
23. 51:11Проблема упорядочивания и артефакты
24. 51:59Сравнение вычислительной сложности NeRF и SplattingNeural Radiance Fields
25. 54:02Дифференцируемость алгоритма рендерингаRendering
26. 55:46Локальность обучения и важность инициализации
27. 56:53Управление количеством сплатов: добавление и удаление3D Gaussian Splatting
28. 59:50Плюсы и минусы технологии
29. 1:02:41Проблема занимаемой памяти
30. 1:03:58Методы сжатия сплатов3D Gaussian Splatting
31. 1:08:28Улучшение инициализации случайным облаком
32. 1:11:16Учёт постобработки камеры (HDR, тональная компрессия)
33. 1:16:48Моделирование обработки сигнала камеры
34. 1:19:05Пример улучшения реконструкции с учётом камеры
35. 1:21:30Артефакт мерцания (Popping Artifact)
36. 1:22:54Ограничения: неидеальная камера (Fisheye, Rolling Shutter)
37. 1:26:30Решения: Ray Tracing для Gaussian Splatting3D Gaussian Splatting
38. 1:28:09Улучшенная аппроксимация: Unscented Transform
39. 1:29:29Альтернативные примитивы: ячейки Вороного
40. 1:31:26Инициализация сплатов из выхода 2D-моделей (например, Depth Anything)3D Gaussian Splatting
41. 1:34:15Демонстрация анимированных сплатов (4DV.AI)3D Gaussian Splatting
42. 1:37:42Ответы на вопросы и завершение лекции
43. 1:40:49Перерыв (≈15.3 мин)
44. 1:59:37Начало семинара: демонстрация сайта superspl.at
45. 2:04:27Работа с PLY-файлами для хранения сплатов3D Gaussian Splatting
46. 2:05:27Класс для хранения параметров 2D сплатов3D Gaussian Splatting
47. 2:08:44Forward pass для 2D гауссианTesting ML Code
48. 2:10:08Класс рендерера для 2D сплатов3D Gaussian Splatting
49. 2:11:47Принцип работы с тайлами (плитками)
50. 2:14:14Определение радиуса и ограничивающего прямоугольника (AABB)
51. 2:17:50Расчёт цвета и плотности (альфа) для сплата3D Gaussian Splatting
52. 2:19:34Алгоритм рендеринга с тайлами и сортировкойSorting AlgorithmsRendering
53. 2:23:43Визуализация случайных 2D сплатов3D Gaussian Splatting
54. 2:24:09Обучение 2D сплатов на изображении дракона3D Gaussian Splatting
55. 2:28:37Эксперимент: обучение с малым количеством сплатов3D Gaussian Splatting
56. 2:32:59Переход к 3D: класс камеры LookAtCamera
57. 2:35:14Класс для 3D сплатов и загрузка из PLY3D Gaussian Splatting
58. 2:37:44Рендеринг 3D сплатов (упрощённый хакированый способ)3D Gaussian SplattingRendering
59. 2:39:12Демонстрация рендеринга 3D статуиRendering
60. 2:40:33Завершение семинара