[论文解读] UE4-NeRF:Neural Radiance Field for Real-Time Rendering of Large-Scale Scene

Jiaming Gu, Minchao Jiang+6 more|arXiv (Cornell University)|Oct 20, 2023

Advanced Vision and Imaging被引用 6

一句话总结

UE4-NeRF 提出了一种实时、大规模场景渲染系统，该系统将场景划分为子-NeRF，使用优化的多边形网格表示，并通过多级细节（LOD）方法与虚幻引擎4的光栅化渲染管线集成。该系统在4K分辨率下最高可实现43 FPS的帧率，同时保持照片级真实感画质，并支持交互式场景编辑。

ABSTRACT

Neural Radiance Fields (NeRF) is a novel implicit 3D reconstruction method that shows immense potential and has been gaining increasing attention. It enables the reconstruction of 3D scenes solely from a set of photographs. However, its real-time rendering capability, especially for interactive real-time rendering of large-scale scenes, still has significant limitations. To address these challenges, in this paper, we propose a novel neural rendering system called UE4-NeRF, specifically designed for real-time rendering of large-scale scenes. We partitioned each large scene into different sub-NeRFs. In order to represent the partitioned independent scene, we initialize polygonal meshes by constructing multiple regular octahedra within the scene and the vertices of the polygonal faces are continuously optimized during the training process. Drawing inspiration from Level of Detail (LOD) techniques, we trained meshes of varying levels of detail for different observation levels. Our approach combines with the rasterization pipeline in Unreal Engine 4 (UE4), achieving real-time rendering of large-scale scenes at 4K resolution with a frame rate of up to 43 FPS. Rendering within UE4 also facilitates scene editing in subsequent stages. Furthermore, through experiments, we have demonstrated that our method achieves rendering quality comparable to state-of-the-art approaches. Project page: https://jamchaos.github.io/UE4-NeRF/.

研究动机与目标

• 解决现有NeRF方法在大规模场景中缺乏实时渲染能力的问题。
• 克服NeRF在大规模环境训练与推理中的计算瓶颈。
• 在游戏引擎环境中实现交互式场景编辑与操作。
• 通过优化的网格表示与渲染管线集成，在保持高视觉保真度的同时实现实时性能。

提出的方法

• 将大规模场景划分为子-NeRF，以降低计算负载并支持分布式训练。
• 使用规则八面体初始化多边形网格，并在训练过程中优化顶点位置，以实现更好的几何对齐。
• 采用多分辨率哈希编码（来自Instant-NGP）以加速NeRF训练并提升收敛速度。
• 通过神经HLSL片段着色器将NeRF输出与UE4的光栅化渲染管线集成，该着色器将特征向量映射为颜色与不透明度。
• 实施细节层次（LOD）策略，通过在较高视距使用更粗糙的网格来维持实时帧率。
• 利用CUDA加速计算进行训练与推理，实现相较于Mobile-NeRF 1000倍的速度提升。

实验结果

研究问题

• RQ1 NeRF-based重建能否适配于大规模、复杂场景的实时渲染？
• RQ2 如何降低大规模环境中NeRF训练与推理的计算成本？
• RQ3 结合隐式NeRF表示与显式网格渲染的混合方法能否实现实时性能？
• RQ4 场景编辑与物体合成在多大程度上可无缝集成到NeRF-based渲染管线中？
• RQ5 基于LOD的网格表示在不同视距下对渲染质量与帧率的影响如何？

主要发现

• UE4-NeRF 使用UE4光栅化渲染管线，在4K分辨率下最高实现43 FPS的实时大规模场景渲染。
• 该方法展现出照片级真实感渲染质量，其锐度与细节表现优于Mobile-NeRF与Mega-NeRF，尤其在复杂纹理与半透明材质方面表现更优。
• 基于LOD的网格表示可在不同视距下保持稳定的帧率，高海拔区域使用更粗糙的网格以维持性能。
• 在UE4中的场景编辑无缝流畅：用户可导入并操作标准3D模型（如.obj、.fbx），系统自动处理遮挡，并在添加物体后提升帧率。
• UE4-NeRF的训练速度相比Mobile-NeRF提升1000倍，得益于优化的CUDA实现与多分辨率编码。
• 尽管预渲染光线捕获存在挑战，系统仍能生成高质量网格，孔洞极少，且训练期间的顶点优化显著提升了几何精度。