[论文解读] NeuVV: Neural Volumetric Videos with Immersive Rendering and Editing

Jiakai Zhang, Liao Wang+8 more|arXiv (Cornell University)|Feb 12, 2022

Advanced Vision and Imaging被引用 5

一句话总结

NeuVV 引入了一种实时神经体积视频框架，实现了动态表演的沉浸式、交互式及时空渲染与编辑，并具备照片级真实感。通过在视频八叉树（VOctree）中使用超球面谐函数和可学习基表示对动态辐射场进行分解，NeuVV 实现了训练速度提升两个数量级并降低了内存开销，从而支持实时 VR 渲染和动态内容合成，如重定时、重新定位和光照效果。

ABSTRACT

Some of the most exciting experiences that Metaverse promises to offer, for instance, live interactions with virtual characters in virtual environments, require real-time photo-realistic rendering. 3D reconstruction approaches to rendering, active or passive, still require extensive cleanup work to fix the meshes or point clouds. In this paper, we present a neural volumography technique called neural volumetric video or NeuVV to support immersive, interactive, and spatial-temporal rendering of volumetric video contents with photo-realism and in real-time. The core of NeuVV is to efficiently encode a dynamic neural radiance field (NeRF) into renderable and editable primitives. We introduce two types of factorization schemes: a hyper-spherical harmonics (HH) decomposition for modeling smooth color variations over space and time and a learnable basis representation for modeling abrupt density and color changes caused by motion. NeuVV factorization can be integrated into a Video Octree (VOctree) analogous to PlenOctree to significantly accelerate training while reducing memory overhead. Real-time NeuVV rendering further enables a class of immersive content editing tools. Specifically, NeuVV treats each VOctree as a primitive and implements volume-based depth ordering and alpha blending to realize spatial-temporal compositions for content re-purposing. For example, we demonstrate positioning varied manifestations of the same performance at different 3D locations with different timing, adjusting color/texture of the performer's clothing, casting spotlight shadows and synthesizing distance falloff lighting, etc, all at an interactive speed. We further develop a hybrid neural-rasterization rendering framework to support consumer-level VR headsets so that the aforementioned volumetric video viewing and editing, for the first time, can be conducted immersively in virtual 3D space.

研究动机与目标

• 为元宇宙应用实现动态体积视频的实时、照片级真实感及沉浸式渲染。
• 克服传统网格和点云表示在动态场景重建中的局限性，后者需要大量手动清理。
• 实现实时交互式、时空编辑的体积视频内容，如重新定位、重定时和应用光照效果。
• 通过高效的因子化与基于八叉树的编码，降低基于动态 NeRF 表示的内存与训练开销。
• 通过混合神经-光栅化渲染管线实现在消费级 VR 头显上的部署。

提出的方法

• NeuVV 将动态场景建模为一个 6D 辐射场，将 3D 位置、视角方向和时间映射到颜色和密度。
• 采用超球面谐函数（HH）分解来建模体积内平滑的空间和时间颜色变化。
• 引入可学习基表示以捕捉由运动引起的突发性密度与颜色变化，实现时间上的紧凑表达。
• 将因子化表示集成到视频八叉树（VOctree）中，类似于 PlenOctree，以实现高效、实时的渲染与内存优化。
• 开发了混合神经-光栅化渲染框架，以支持在消费级 VR 头显上实现低延迟、沉浸式渲染。
• 通过基于体积的深度排序和 VOctree 原语的 alpha 混合，实现内容编辑，支持对位置、尺度、时间与外观的实时操作。

实验结果

研究问题

• RQ1 能否对神经辐射场表示进行高效因子化，以支持动态体积视频的实时渲染与编辑？
• RQ2 如何在神经体积表示中分别且有效地建模颜色与密度的平滑与突变变化（由运动引起）？
• RQ3 与标准 NeRF 相比，基于 VOctree 的结构是否能实现显著的速度提升与内存节省，同时保持照片级真实感？
• RQ4 是否可行通过神经表示实现在 3D 空间中对体积视频内容进行交互式、沉浸式编辑？
• RQ5 该框架是否可部署于消费级 VR 硬件上，以支持实时、沉浸式观看与编辑？

主要发现

• NeuVV 实现了体积视频的实时渲染与交互式编辑，使用户能够通过 VR 头显自由导航 3D 场景。
• 通过超球面谐函数与可学习基的因子化，相比标准动态 NeRF，内存开销与训练时间降低了两个数量级。
• VOctree 表示支持高效、实时渲染，并支持基于体积的深度排序与 alpha 混合，实现时空内容合成。
• 该系统支持多种交互式编辑操作，包括在 3D 空间中重新定位表演者、调整时间、复制表演，以及应用动态光照效果（如聚光灯与距离衰减）。
• 混合神经-光栅化管线使消费级 VR 头显上的沉浸式渲染成为可能，使实时体积视频编辑在虚拟环境中触手可及。
• 截至目前，NeuVV 是首个支持在全沉浸式 3D 环境中实现实时渲染与交互式编辑的基于神经网络的体积视频框架。