[论文解读] Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes

Towaki Takikawa, Joey Litalien+7 more|arXiv (Cornell University)|Jan 26, 2021

3D Shape Modeling and Analysis参考文献 41被引用 33

一句话总结

引入 Neural Geometric Level of Detail (NGLoD)，一种基于稀疏八叉树的神经 SDF 表示，能够实现实时渲染、连续 LOD 以及使用微小的 MLP 解码器实现高重建质量。

ABSTRACT

Neural signed distance functions (SDFs) are emerging as an effective representation for 3D shapes. State-of-the-art methods typically encode the SDF with a large, fixed-size neural network to approximate complex shapes with implicit surfaces. Rendering with these large networks is, however, computationally expensive since it requires many forward passes through the network for every pixel, making these representations impractical for real-time graphics. We introduce an efficient neural representation that, for the first time, enables real-time rendering of high-fidelity neural SDFs, while achieving state-of-the-art geometry reconstruction quality. We represent implicit surfaces using an octree-based feature volume which adaptively fits shapes with multiple discrete levels of detail (LODs), and enables continuous LOD with SDF interpolation. We further develop an efficient algorithm to directly render our novel neural SDF representation in real-time by querying only the necessary LODs with sparse octree traversal. We show that our representation is 2-3 orders of magnitude more efficient in terms of rendering speed compared to previous works. Furthermore, it produces state-of-the-art reconstruction quality for complex shapes under both 3D geometric and 2D image-space metrics.

研究动机与目标

• 为需要快速、可扩展的神经隐式曲面以支持实时渲染的可变细节性提供动机。
• 提出基于稀疏体素八叉树（SVO）的神经 SDF 表示以支持多等级细节（LODs）。
• 开发一个高效的渲染流水线（sphere tracing），仅查询对实时性能必要的 LOD。
• 训练一个设置，使所有离散的 LOD 共同优化，以在不同尺度上实现一致的几何质量。
• 在前沿重建质量上取得领先，并相对于先前的神经隐式方法实现显著加速。

提出的方法

• 用一个在体素角点存储可学习特征向量的 SVO 来表示隐式曲面。
• 使用每个 LOD 的小型 MLP 解码器 f_theta_L，将串联的插值特征与位置映射到符号距离（signed distance）。
• 通过对体素角点进行三线性插值来计算每个 LOD 的特征，并在所有 LOD 上求和以获得 z(x;L,Z)。
• 通过对预测距离进行带有系数 alpha 的插值来混合离散 LOD，以获得连续的 LOD。
• 用一个多 LOD 损失联合训练所有 LOD 解码器和特征，损失为 J = E_x,d ∑_L ||f_theta_L([x,z(x;L,Z)]) - d||^2。
• 使用一个定制的 sphere tracing 算法进行渲染，该算法利用射线-八叉树相交和自适应步进，仅遍历被占用的体素。

实验结果

研究问题

• RQ1 神经 SDF 是否能够在实时渲染的同时在多等级细节下保持高几何保真度？
• RQ2 基于 SVO 的多 LOD 架构与小解码器是否比固定大小、较大网络在速度-精度权衡上更优？
• RQ3 连续 LOD 混合是否可行而不会为神经隐式曲面带来伪影或不稳定性？
• RQ4 跨 LOD 的联合训练在新形状上的泛化能力如何，以及是否能支持高效渲染和压缩？
• RQ5 与先前的神经隐式方法（如 DeepSDF、NSVF、基于 NeRF 的方法）相比，该方法在性能和质量方面有哪些优势？

主要发现

• 该方法实现了对复杂神经 SDF 的实时渲染，在同类设置下比此前工作快数十倍至数百倍。
• 在 ShapeNet、Thingi32 和 TurboSquid 上实现了多项指标和数据集的最先进重建质量。
• 使用具有小型 MLP 解码器的 LOD 和 SVO 特征体积可在推理成本上实现较低开销（每个距离查询固定约 4,737 参数），同时保持高保真度。
• 连续的 LOD 混合为 SDF 的离散八叉树层之间提供了平滑过渡。
• 该方法在单一训练样本的形状间具备泛化性，在泛化任务中可以优于对单形状过拟合的基线。
• 实验表明在多分辨率下收敛更快、渲染帧率更有利，并在较低 LOD 时具有显著的内存效率。