[论文解读] Neural Volumes: Learning Dynamic Renderable Volumes from Images

Stephen Lombardi, Tomas Simon+4 more|arXiv (Cornell University)|Jun 18, 2019

Advanced Vision and Imaging参考文献 59被引用 22

一句话总结

本文提出 Neural Volumes，一种基于学习的方法，通过端到端训练的编码器-解码器网络与可微分射线追踪，从多视角视频重建动态、可渲染的3D场景。通过学习通过形变场实现的动态非规则体素网格，该方法在无需显式网格重建或追踪的情况下，实现了高分辨率、无伪影的新视角合成，能够真实渲染头发和烟雾等复杂现象。

ABSTRACT

Modeling and rendering of dynamic scenes is challenging, as natural scenes often contain complex phenomena such as thin structures, evolving topology, translucency, scattering, occlusion, and biological motion. Mesh-based reconstruction and tracking often fail in these cases, and other approaches (e.g., light field video) typically rely on constrained viewing conditions, which limit interactivity. We circumvent these difficulties by presenting a learning-based approach to representing dynamic objects inspired by the integral projection model used in tomographic imaging. The approach is supervised directly from 2D images in a multi-view capture setting and does not require explicit reconstruction or tracking of the object. Our method has two primary components: an encoder-decoder network that transforms input images into a 3D volume representation, and a differentiable ray-marching operation that enables end-to-end training. By virtue of its 3D representation, our construction extrapolates better to novel viewpoints compared to screen-space rendering techniques. The encoder-decoder architecture learns a latent representation of a dynamic scene that enables us to produce novel content sequences not seen during training. To overcome memory limitations of voxel-based representations, we learn a dynamic irregular grid structure implemented with a warp field during ray-marching. This structure greatly improves the apparent resolution and reduces grid-like artifacts and jagged motion. Finally, we demonstrate how to incorporate surface-based representations into our volumetric-learning framework for applications where the highest resolution is required, using facial performance capture as a case in point.

研究动机与目标

• 解决传统基于网格的方法难以捕捉的动态场景挑战，如细结构、半透明性和拓扑变化。
• 实现从2D多视角图像直接端到端训练3D体素表示，无需显式几何重建或追踪。
• 通过在射线追踪过程中使用形变场学习动态非规则网格结构，提高分辨率并减少体素表示中的伪影。
• 通过结合神经体素表示与基于表面的模型，支持对细节（如面部特征和头发）的高保真渲染。
• 通过学习的潜在空间实现对新视角和动态内容生成的泛化，即使没有显式的时间建模。

提出的方法

• 该方法使用编码器-解码器神经网络，将多视角RGB图像映射为每个空间位置的不透明度和颜色的3D体素表示。
• 可微分的射线追踪操作通过沿射线积分颜色和不透明度来计算渲染图像，支持反向传播通过渲染过程。
• 在训练过程中学习隐式形变场，以动态变形基础体素网格，提高有效分辨率并减少网格状伪影。
• 通过利用视图相关的神经渲染，框架支持几何与外观的联合优化，可补偿重建不准确性。
• 该方法可扩展以整合高分辨率表面模型（如纹理网格），用于需要精细细节的区域，如面部皮肤和眼睛。
• 通过图像空间损失函数进行监督训练，实现无需显式几何或运动监督的端到端优化。

实验结果

研究问题

• RQ1 神经网络能否在无需显式网格重建或追踪的情况下，直接从多视角视频学习动态3D体素表示？
• RQ2 可微分射线追踪能否实现体素表示的端到端训练，并使其在新视角上具有良好泛化能力？
• RQ3 学习到的形变场能否提升体素基体素表示的有效分辨率并减少伪影？
• RQ4 与传统方法相比，该方法在重建运动头发、半透明物体和烟雾等挑战性动态场景方面的表现如何？
• RQ5 编码器-解码器网络的潜在空间能否生成训练数据中未见的合理动态内容序列？

主要发现

• 该方法成功重建了复杂动态场景，如运动的头发、毛绒玩具和烟雾，具有高感知质量且新视角合成一致。
• 使用可微分射线追踪操作实现了端到端训练，使梯度能够通过渲染过程传播，提升了收敛性和重建质量。
• 学习到的形变场显著减少了网格状伪影并提高了有效分辨率，在视觉保真度上优于标准体素网格。
• 由于其3D感知的体素表示，该方法在新视角上泛化良好，即使在视角变化较大的近场场景中亦然。
• 将神经体素与面部区域的纹理网格结合，显著提升了细节保真度，结果优于仅使用体素或仅使用网格的方法。
• 编码器-解码器网络的潜在空间能够生成训练数据中未见的合理动态内容序列，尽管时间一致性取决于输入动态特性。