[论文解读] RT-NeRF: Real-Time On-Device Neural Radiance Fields Towards Immersive AR/VR Rendering

Chaojian Li, Sixu Li+3 more|arXiv (Cornell University)|Dec 2, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

RT-NeRF 提出了一种针对增强现实/虚拟现实（AR/VR）中实时设备端神经辐射场（NeRF）渲染的首个算法-硬件协同设计框架。通过采用混合编码方案并利用预存点与嵌入的稀疏性，结合专用硬件单元，该方法在保持高渲染质量的同时，相较于最先进（SOTA）方法实现了高达3,201倍的加速比和4,002倍的能效提升。

ABSTRACT

Neural Radiance Field (NeRF) based rendering has attracted growing attention thanks to its state-of-the-art (SOTA) rendering quality and wide applications in Augmented and Virtual Reality (AR/VR). However, immersive real-time (> 30 FPS) NeRF based rendering enabled interactions are still limited due to the low achievable throughput on AR/VR devices. To this end, we first profile SOTA efficient NeRF algorithms on commercial devices and identify two primary causes of the aforementioned inefficiency: (1) the uniform point sampling and (2) the dense accesses and computations of the required embeddings in NeRF. Furthermore, we propose RT-NeRF, which to the best of our knowledge is the first algorithm-hardware co-design acceleration of NeRF. Specifically, on the algorithm level, RT-NeRF integrates an efficient rendering pipeline for largely alleviating the inefficiency due to the commonly adopted uniform point sampling method in NeRF by directly computing the geometry of pre-existing points. Additionally, RT-NeRF leverages a coarse-grained view-dependent computing ordering scheme for eliminating the (unnecessary) processing of invisible points. On the hardware level, our proposed RT-NeRF accelerator (1) adopts a hybrid encoding scheme to adaptively switch between a bitmap- or coordinate-based sparsity encoding format for NeRF's sparse embeddings, aiming to maximize the storage savings and thus reduce the required DRAM accesses while supporting efficient NeRF decoding; and (2) integrates both a dual-purpose bi-direction adder & search tree and a high-density sparse search unit to coordinate the two aforementioned encoding formats. Extensive experiments on eight datasets consistently validate the effectiveness of RT-NeRF, achieving a large throughput improvement (e.g., 9.7x - 3,201x) while maintaining the rendering quality as compared with SOTA efficient NeRF solutions.

研究动机与目标

• 解决在商用设备上基于 NeRF 的 AR/VR 系统中渲染吞吐量低下的关键瓶颈问题。
• 识别出均匀点采样和密集嵌入计算是当前最先进 NeRF 方法效率低下的主要原因。
• 通过集成算法与硬件创新，实现设备端实时（30+ FPS）NeRF 渲染。
• 协同设计一种硬件加速器，通过自适应编码格式高效解码稀疏 NeRF 嵌入。
• 在大幅降低延迟和能耗的同时，保持高渲染质量（PSNR）。

提出的方法

• 提出一种高效的渲染流水线，直接从占据网格中的非零立方体计算几何结构，避免均匀点采样。
• 采用粗粒度的视图相关渲染顺序，跳过不可见点的处理。
• 设计一种混合编码方案，根据嵌入稀疏性（低或高）动态切换位图与坐标编码格式。
• 开发一种双用途双向加法器与搜索树，以高效协调两种编码格式之间的解码操作。
• 集成高密度稀疏搜索单元，以最小化稀疏解码操作期间的计算空闲时间。
• 协同设计算法与硬件，共同利用预存点与网格嵌入中的稀疏性。

实验结果

研究问题

• RQ1 在商用 AR/VR 设备上部署时，当前最先进高效 NeRF 算法的主要性能瓶颈是什么？
• RQ2 算法优化如何利用预存点与嵌入中的稀疏性来降低渲染延迟？
• RQ3 能否与算法协同设计硬件加速器，以最大化设备端 NeRF 渲染的吞吐量与能效？
• RQ4 算法-硬件协同设计在多大程度上可实现在边缘设备上实时（30+ FPS）NeRF 推理，同时保持最先进渲染质量？
• RQ5 混合编码方案如何在不同嵌入稀疏率下自适应平衡存储节省与解码效率？

主要发现

• RT-NeRF 在八个 Synthetic-NeRF 数据集上，相较于基线边缘设备（如 Jetson Nano），实现了高达3,201倍的加速比和4,002倍的能效提升。
• 在高端 GPU（如 NVIDIA 2080Ti）上，RT-NeRF 相较于同一算法在 GPU 上运行，实现了24倍的加速比，验证了硬件加速的优势。
• 该算法保持了高渲染质量，八个数据集上的平均 PSNR 达到31.79，仅比最先进方法 TensoRF 低0.21。
• 混合编码方案通过适配4%至92%的嵌入稀疏率范围，有效减少了 DRAM 访问次数。
• 双用途双向加法器与搜索树单元实现了位图与坐标编码格式之间的高效协调，降低了解码延迟。
• 粗粒度的视图相关渲染顺序减少了对不可见点的无效计算，显著提升了整体效率。