[论文解读] Robustifying the Multi-Scale Representation of Neural Radiance Fields

Nishant Jain, Suryansh Kumar+1 more|arXiv (Cornell University)|Oct 9, 2022

Robotics and Sensor-Based Localization被引用 6

一句话总结

本文提出RM-NeRF，一种鲁棒的多尺度神经辐射场方法，通过利用场景刚性与基于图神经网络的运动平均框架，联合解决多尺度成像与相机位姿估计误差问题。在基准数据集上，RM-NeRF在真实、含噪声的现实条件下，使用合成与真实多视角数据，均优于Mip-NeRF与BARF，实现了最先进性能。

ABSTRACT

Neural Radiance Fields (NeRF) recently emerged as a new paradigm for object representation from multi-view (MV) images. Yet, it cannot handle multi-scale (MS) images and camera pose estimation errors, which generally is the case with multi-view images captured from a day-to-day commodity camera. Although recently proposed Mip-NeRF could handle multi-scale imaging problems with NeRF, it cannot handle camera pose estimation error. On the other hand, the newly proposed BARF can solve the camera pose problem with NeRF but fails if the images are multi-scale in nature. This paper presents a robust multi-scale neural radiance fields representation approach to simultaneously overcome both real-world imaging issues. Our method handles multi-scale imaging effects and camera-pose estimation problems with NeRF-inspired approaches by leveraging the fundamentals of scene rigidity. To reduce unpleasant aliasing artifacts due to multi-scale images in the ray space, we leverage Mip-NeRF multi-scale representation. For joint estimation of robust camera pose, we propose graph-neural network-based multiple motion averaging in the neural volume rendering framework. We demonstrate, with examples, that for an accurate neural representation of an object from day-to-day acquired multi-view images, it is crucial to have precise camera-pose estimates. Without considering robustness measures in the camera pose estimation, modeling for multi-scale aliasing artifacts via conical frustum can be counterproductive. We present extensive experiments on the benchmark datasets to demonstrate that our approach provides better results than the recent NeRF-inspired approaches for such realistic settings.

研究动机与目标

• 解决NeRF及其变体在处理具有尺度变化与相机位姿不准确的真实世界多视角图像时的局限性。
• 通过实现自包含的鲁棒相机位姿估计，消除对COLMAP等第三方位姿估计算法的依赖。
• 通过整合多尺度表示与鲁棒优化，提升在多尺度与位姿误差条件下的神经体积渲染质量。
• 证明即使采用Mip-NeRF的抗混叠技术，若缺乏鲁棒的位姿估计，多尺度渲染仍会导致失败。
• 统一多视角几何、多尺度NeRF与图神经网络的原理，构建更鲁棒的神经场景表示。

提出的方法

• 集成Mip-NeRF的多尺度圆锥截锥渲染方法，以减少射线空间中的混叠伪影。
• 在神经体积渲染框架内提出一种基于图神经网络的多运动平均（MRA）模块，用于联合估计鲁棒的相机位姿。
• 利用刚性场景先验来正则化优化过程，提升对位姿误差的鲁棒性。
• 在颜色渲染损失与鲁棒MRA损失的联合优化中采用退火策略，以平衡收敛性与准确性。
• 在单一端到端可微分框架中结合多尺度渲染与鲁棒位姿估计，避免依赖束调整（bundle adjustment）。
• 利用场景刚性约束运动平均过程，提升在尺度与位姿变化下跨视角的一致性。

实验结果

研究问题

• RQ1 统一的神经辐射场框架能否同时鲁棒地处理多尺度成像与相机位姿估计误差？
• RQ2 当Mip-NeRF的多尺度渲染与不准确的相机位姿结合时是否会失败，且该问题能否被缓解？
• RQ3 基于图神经网络的运动平均能否在无需外部位姿求解器的情况下，提升神经体积渲染中的相机位姿估计鲁棒性？
• RQ4 在真实世界成像条件下，引入刚性场景先验如何影响新视角合成的质量？
• RQ5 在噪声较多的真实世界设置中，联合优化场景表示与相机位姿是否比单独优化或基于BA的方法更有效？

主要发现

• 在多尺度Blender数据集的Mic场景中，RM-NeRF在合成位姿误差下取得32.80的PSNR，显著优于BARF（27.03）与Mip-NeRF（21.90）。
• 在同一基准测试中，RM-NeRF在Mic场景的LPIPS为0.008，而Mip-NeRF为0.064，BARF为0.060，表明其具有更优的感知质量。
• 消融实验表明，若固定退火权重λ=0.5，Mic场景的PSNR将从32.80降至22.20，证实自适应优化策略的重要性。
• RM-NeRF在Mic场景的SSIM达到0.963，优于BARF（0.96）与Mip-NeRF（0.93），证明其结构保真度更优。
• 即使在相机位姿被扰动的情况下，该方法仍能减少混叠伪影并提升新视角合成质量，证明其对真实世界噪声具有鲁棒性。
• 所提出的结合刚性场景先验的联合优化方法，相比仅依赖颜色或位姿损失的方法，能实现更一致且准确的场景重建。