[论文解读] Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

Kerui Ren, Lihan Jiang+5 more|arXiv (Cornell University)|Mar 26, 2024

Computer Graphics and Visualization Techniques被引用 4

一句话总结

Octree-GS 提出了一种基于层次化八叉树锚点的 LOD 结构化 3D 高斯点绘框架，实现了在不同视距下的稳定实时渲染。通过根据视距和场景复杂度动态选择多分辨率高斯点，即使在 MatrixCity 等大型、细节丰富的场景中，也能保持超过 30 FPS 的稳定性能，优于 Mip-Splatting 和 Scaffold-GS 等 SOTA 方法，在视觉质量和渲染一致性方面表现更优。

ABSTRACT

The recent 3D Gaussian splatting (3D-GS) has shown remarkable rendering fidelity and efficiency compared to NeRF-based neural scene representations. While demonstrating the potential for real-time rendering, 3D-GS encounters rendering bottlenecks in large scenes with complex details due to an excessive number of Gaussian primitives located within the viewing frustum. This limitation is particularly noticeable in zoom-out views and can lead to inconsistent rendering speeds in scenes with varying details. Moreover, it often struggles to capture the corresponding level of details at different scales with its heuristic density control operation. Inspired by the Level-of-Detail (LOD) techniques, we introduce Octree-GS, featuring an LOD-structured 3D Gaussian approach supporting level-of-detail decomposition for scene representation that contributes to the final rendering results. Our model dynamically selects the appropriate level from the set of multi-resolution anchor points, ensuring consistent rendering performance with adaptive LOD adjustments while maintaining high-fidelity rendering results.

研究动机与目标

• 解决在缩放轨迹中大型、细节丰富的场景下，3D 高斯点绘（3D-GS）渲染速度与视觉质量不一致的问题。
• 克服仅基于视锥的高斯点选择机制的局限性，该机制导致冗余计算和 LOD 自适应能力差。
• 引入一种分层的多分辨率八叉树结构，用于组织 3D 高斯点，实现面向层级细节（LOD）的渲染。
• 在推理过程中实现动态 LOD 选择，以在不增加高斯点数量的前提下平衡性能与保真度。
• 通过渐进式训练和 LOD 偏置机制，提升远距离和高频细节区域的渲染质量。

提出的方法

• 使用分层八叉树数据结构组织 3D 高斯点，其中每个节点代表一个用于高斯点的多分辨率锚点。
• 根据视距和场景细节丰富度动态选择合适的 LOD 层级，减少对远处或低可见度特征的冗余渲染。
• 引入下一级生长算子，将高斯点从粗粒度层级传播到精细层级，实现跨层级交互并提升细节捕捉能力。
• 应用 LOD 偏置机制，优先保留远距离视图中的高频细节，减少视觉伪影和边缘模糊。
• 从较粗的 LOD 层级（如第 2 层或第 4 层）开始进行渐进式训练，以稳定优化过程并防止层级间重叠。
• 将八叉树结构化的高斯点集成到 Scaffold-GS 框架中，保留其视图自适应且可微分的渲染流程。

实验结果

研究问题

• RQ1 分层的、面向 LOD 的 3D 高斯表示能否提升在大型场景中不同视距下的渲染一致性？
• RQ2 与固定视锥选择相比，基于视距的动态 LOD 选择如何影响渲染性能与视觉质量？
• RQ3 从粗到细的渐进式训练在多大程度上提升了高斯点与场景几何的一致性，并减少了伪影？
• RQ4 基于八叉树的锚点结构能否有效管理多分辨率高斯点，同时保持实时渲染速度？
• RQ5 所提出的 LOD 偏置机制在多大程度上提升了远距离视图中的边缘锐度与细节保留能力？

主要发现

• Octree-GS 在 MatrixCity 数据集的所有缩放轨迹中均实现了稳定在 30 FPS 或以上的实时渲染，而 Mip-Splatting 和 Scaffold-GS 在远距离时帧率下降至 30 FPS 以下。
• 该模型在 MatrixCity 数据集上保持了高视觉保真度，PSNR 达到 31.05，LPIPS 为 0.055，两项指标均优于 SOTA 基线方法。
• 消融实验表明，添加下一级生长算子可使 PSNR 提升 0.47（从 28.78 提升至 29.25），LPIPS 下降 0.025，证明了细节捕捉能力的提升。
• 引入 LOD 偏置机制相比基线模型可使 PSNR 提升 0.21，LPIPS 下降 0.002，显著改善了远距离视图中的边缘锐度。
• 从第 2 层或第 4 层开始的渐进式训练提升了粗粒度层级的渲染精度，其中 M7（初始化于第 4 层）达到 29.50 PSNR 和 0.177 LPIPS，优于非渐进式变体。
• 完整模型（包含所有组件）实现 31.05 PSNR 和 0.055 LPIPS，表明八叉树结构、LOD 偏置与渐进式训练的结合可实现最优性能。