Обратная зрению задача: по описанию сцены получить изображение. Понимание нужно, чтобы обучать модели через сравнение отрисованного с настоящим.
Ключевые тезисы
- проецирует треугольники на экран — быстро и это путь реального времени.
- идёт от пикселя в сцену и честно считает свет — медленнее, но физичнее.
- Дифференцируемый позволяет считать по параметрам сцены и обучать её прямо по картинкам.
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Нейронный рендеринг
Neural Radiance Fields85%
Нейронные поля яркости · Трёхмерное зрениеСцена задаётся не сеткой и не точками, а нейросетью: по координате и направлению взгляда она возвращает цвет и плотность. Картинка получается объёмным рендерингом вдоль луча.
3D Gaussian Splatting85%
Гауссовы сплаты · Трёхмерное зрениеСцена — это миллионы трёхмерных гауссиан с цветом и прозрачностью. Их проекция на экран считается напрямую, поэтому рендеринг идёт в реальном времени.
Structure from Motion85%
Восстановление структуры по движению · Трёхмерное зрениеПо набору неупорядоченных снимков одновременно находим положения камер и трёхмерные точки сцены. Классическая основа фотограмметрии и вход почти любого 3D-пайплайна.
Parametric Body Models85%
Параметрические модели тела · Трёхмерное зрениеТело человека описывается десятком чисел формы и позой суставов. Модель превращает их в трёхмерную сетку — это резко сужает пространство поиска при восстановлении по фото.
Diffusion85%
Диффузия · Генеративный ИИИтеративное расшумление — текущий стандарт генерации изображений, видео и аудио.
Глава «Трёхмерное зрение» последний раз правилась . Нашли ошибку — напишите.