Neural Radiance Fields (NeRF)

Что разбирают и где

Тайм-коды записи, разобранные по темам атласа: под главой стоят темы, которые в ней названы, — из лекции можно уйти в текстовый разбор и вернуться.

Смотреть запись · Neural Radiance Fields (NeRF)

Нажатие на тайм-код перематывает запись, не перезагружая страницу. Открыть на YouTube ↗

1. 3:07Введение в неявные представления 3D-данных
2. 4:04Повторение: трассировка лучей и растеризацияRendering
3. 5:38Параметрические модели тел (SMPL)Parametric Body Models
4. 9:51Переход от явных к неявным представлениям
5. 11:09Определение неявных представлений и полей
6. 12:53Поле расстояния со знаком (SDF)
7. 17:04Свойства и операции с SDF
8. 19:12Визуализация SDF: sphere marching
9. 23:26Объёмные представления и поля плотности
10. 28:25Способы хранения полей: воксельные сетки
11. 30:07Представление полей через MLP (нейросети)MLP
12. 33:32Позиционное кодирование для MLPMLP
13. 35:38Сравнение гридов и MLP: плюсы и минусыMLP
14. 38:49Гибридные представления полей
15. 40:49Архитектура Instant NGP и хэш-таблицыHash Tables
16. 45:26Постановка задачи Novel View Synthesis
17. 52:27Устройство Neural Radiance Fields (NeRF)Neural Radiance Fields
18. 53:32Поля плотности и светимости в NeRFNeural Radiance Fields
19. 58:09Алгоритм рендеринга для объёмных полейRendering
20. 1:01:54Формула alpha compositing для визуализации
21. 1:07:44Плюсы и минусы подхода NeRFNeural Radiance Fields
22. 1:11:48Проблема неоднозначности в задаче NVS
23. 1:13:05NeRF in the Wild: учёт изменяющегося освещенияNeural Radiance Fields
24. 1:17:36Обобщение NeRF на разные сцены и семантикуNeural Radiance Fields
25. 1:19:54Методы ускорения NeRF (кэширование, Instant NGP)CachingNeural Radiance Fields
26. 1:22:39Улучшение качества: иерархическое сэмплирование
27. 1:24:46Учёт размера пикселя (Mip-NeRF, Zip-NeRF)
28. 1:27:54Итоги по NeRF и переход к семинаруNeural Radiance Fields
29. 1:29:34Перерыв (≈22.7 мин)
30. 1:52:16Начало семинара: модель SIREN
31. 1:55:23Идея сжатия данных с помощью MLPMLP
32. 1:57:10Архитектура SIREN: синусы вместо ReLUActivation functions
33. 2:04:02Инициализация и параметр ω₀ в SIREN
34. 2:11:44Обучение SIREN на изображении (Лена)
35. 2:19:21Обучение SIREN на аудиосигнале
36. 2:28:39Обучение Signed Distance Function (SDF) 3D-объектаDistance
37. 2:42:24Алгоритм sphere marching для визуализации SDF
38. 2:46:24Применение SIREN: инпейнтинг изображений
39. 2:48:07Применение SIREN: супер-разрешение (Super-Resolution)