[论文解读] Neural Volume Rendering: NeRF And Beyond

Frank Dellaert, Yen-Chen Lin|arXiv (Cornell University)|Dec 17, 2020

Computer Graphics and Visualization Techniques参考文献 39被引用 33

一句话总结

作为催化剂的 NeRF 的神经体积渲染的注释性书目与概述，调查 NeRF 之前的隐式表示、NeRF 基础，以及广泛的后续方向（速度、动力学、重新照明、成形、组合和姿态）。

ABSTRACT

Besides the COVID-19 pandemic and political upheaval in the US, 2020 was also the year in which neural volume rendering exploded onto the scene, triggered by the impressive NeRF paper by Mildenhall et al. (2020). Both of us have tried to capture this excitement, Frank on a blog post (Dellaert, 2020) and Yen-Chen in a Github collection (Yen-Chen, 2020). This note is an annotated bibliography of the relevant papers, and we posted the associated bibtex file on the repository.

研究动机与目标

• 定义神经体积渲染及其在神经渲染中的地位。
• 总结基于隐式表面表示的关键前驱工作。
• 描述 NeRF 及其为何引发该领域的快速增长。
• 综述主要的后续方向及其目标（速度、动力学、重新照明、形状先验、场景组合与姿态）。
• 提供一个经过筛选的书目，链接到项目站点与 arXiv 条目，便于研究人员查询。

提出的方法

• 注释并将隐式表面向神经体积渲染的演变放在上下文中。
• 引用并归类支撑隐函数的关键工作（occupancy fields、DeepSDF、PIFu）。
• 解释 NeRF 的简单 MLP+体积积分及其影响（Fourier 特征、位置编码）。
• 整理在性能、动力学、重新照明与场景组合方面的后续工作及代表性论文。
• 提供带链接到项目站点/arXiv 的注释性书目，便于快速访问。

实验结果

研究问题

• RQ1 是什么因素限制了 NeRF 的训练和渲染速度，后续工作如何解决这些问题？
• RQ2 神经辐射场如何处理动态场景以及非刚性/可变形内容？
• RQ3 在神经渲染框架中，哪些方法能够实现重新照明与外观控制？
• RQ4 形状先验与潜在编码如何提升面向三维的图像合成与泛化能力？
• RQ5 将多个对象组合成一个神经体积渲染场景并处理姿态的有效策略是什么？

主要发现

• NeRF 引发了一波研究热潮，并产生了关于 NeRF 的注释性书目。
• 早期工作从隐式表面/SDF 转向体积渲染，使用一个简单的 MLP 来预测密度和颜色。
• 后续工作涵盖提速（JaxNeRF、AutoInt）、动态场景（NeRFlow、D-NeRF、Nerfies）、重新照明（NeRV、NeRD、Neural Reflectance Fields、NeRF-W）和场景组合（GIRAFFE、Object-Centric Neural Scene Rendering）。
• 研究者探索了形状潜在编码和像素对齐特征（pixelNeRF、GRAF、pi-GAN）以改进三维感知的合成和泛化。
• 该领域在性能、动力学、重新照明和组合等方面显示出动力，但在大场景扩展与表面为中心的表示方面仍存在可扩展性问题。