[论文解读] Towards a Robust Framework for NeRF Evaluation

Adrian Azzarelli, Nantheera Anantrasirichai+1 more|arXiv (Cornell University)|May 29, 2023

Visual perception and processing mechanisms被引用 4

一句话总结

本文通过将神经渲染网络与完整NeRF流程解耦，并利用基于网格的表示进行光线投射以生成高精度真实值，提出了一种稳健且参数化的神经辐射场（NeRF）评估框架。该框架引入了全场景平均预测误差（WAPE）指标和任务复杂度指标，相较于传统指标如PSNR，展现出更优的客观评估性能，其中SIREN在WAPE和视觉质量方面均表现最佳。

ABSTRACT

Neural Radiance Field (NeRF) research has attracted significant attention recently, with 3D modelling, virtual/augmented reality, and visual effects driving its application. While current NeRF implementations can produce high quality visual results, there is a conspicuous lack of reliable methods for evaluating them. Conventional image quality assessment methods and analytical metrics (e.g. PSNR, SSIM, LPIPS etc.) only provide approximate indicators of performance since they generalise the ability of the entire NeRF pipeline. Hence, in this paper, we propose a new test framework which isolates the neural rendering network from the NeRF pipeline and then performs a parametric evaluation by training and evaluating the NeRF on an explicit radiance field representation. We also introduce a configurable approach for generating representations specifically for evaluation purposes. This employs ray-casting to transform mesh models into explicit NeRF samples, as well as to "shade" these representations. Combining these two approaches, we demonstrate how different "tasks" (scenes with different visual effects or learning strategies) and types of networks (NeRFs and depth-wise implicit neural representations (INRs)) can be evaluated within this framework. Additionally, we propose a novel metric to measure task complexity of the framework which accounts for the visual parameters and the distribution of the spatial data. Our approach offers the potential to create a comparative objective evaluation framework for NeRF methods.

研究动机与目标

• 为解决当前NeRF评估方法缺乏可靠、客观性的问题，这些方法目前依赖主观判断和传统图像质量指标。
• 将神经渲染网络从完整NeRF流程中解耦，以实现对渲染性能的精确、参数化评估。
• 通过基于网格模型的光线投射方法，开发一种可配置的真实值生成方法，以生成高保真度的辐射场样本。
• 提出一种新型全场景平均预测误差（WAPE）指标，用于量化颜色场和密度场的预测精度。
• 定义一种任务复杂度指标，综合考虑视图分布、输入样本数量和算法复杂度，以更准确反映学习难度。

提出的方法

• 该框架将神经渲染网络与完整NeRF流程解耦，从而可独立评估渲染组件。
• 通过将三角形或矩形网格模型经由光线投射和光线着色转换为显式NeRF样本，合成真实值。
• 全场景平均预测误差（WAPE）计算为所有光线的预测值与真实值在颜色和密度上的平均绝对误差。
• 提出一种任务复杂度指标，综合考虑输入样本数量、训练视图与新视图的空间分布，以及光线追踪算法的功能复杂度。
• 通过相应调整输入和输出定义，该方法支持对NeRFs和深度方向隐式神经表示（INRs）的评估。
• 使用与NeRFStudio兼容的代码对框架进行验证，并在包含相交网格的合成场景中，对多种激活函数（ReLU、SIREN、WIRE、GARF）进行测试。

Figure 1 : Our proposed framework for evaluation. The Target Network is the rendering network generating NeRF colour and density fields. The data synthesis employs the Mesh to NeRF and Ray Shading modules to input the target network and to evaluate the colour and density predictions, respectively. F

实验结果

研究问题

• RQ1 如何在不依赖完整流程误差累积的情况下，客观评估NeRF的渲染性能？
• RQ2 所提出的WAPE指标在多大程度上优于传统指标（如PSNR）以更准确反映渲染精度？
• RQ3 基于网格到NeRF光线投射的可配置真实值生成方法，能否产生可靠且高质量的参考数据用于评估？
• RQ4 任务复杂度（由视图分布和输入样本数量定义）如何影响INRs和NeRFs的学习难度？
• RQ5 在所提出的评估框架下，哪种激活函数（如SIREN、ReLU）能产生最准确且最稳定的预测？

主要发现

• SIREN的WAPE得分最低，为0.092 ± 0.017，优于ReLU（0.101 ± 0.024）、WIRE（0.109 ± 0.021）和GAUSS（0.185 ± 0.019），表明其具有更优的预测精度。
• 尽管PSNR值较高（44.0 ± 9.6），ReLU+编码器方法仍产生噪声较大的预测结果，并在几何定位上表现困难，凸显了PSNR在捕捉空间精度方面的局限性。
• 高斯方法虽获得较高的PSNR（42.3 ± 6.0），但WAPE显著更高（0.185 ± 0.019），表明其在场景大范围区域存在低估，而PSNR未能充分惩罚此类误差。
• SIREN生成了最平滑且结构最清晰的视觉估计，尤其在高频区域表现优异，与其实现的优异WAPE性能一致。
• 所提出的任务复杂度指标有效捕捉了学习难度的差异，当训练视图与新视图在空间上对齐时，复杂度降低。
• 该框架表明，传统指标如PSNR可能具有误导性，而WAPE能提供更可靠、客观的渲染质量度量。

Figure 2 : Example of a NeRF volumetric sample using Equation 1 to render volume samples falling along the same ray