[论文解读] Uncertainty Guided Policy for Active Robotic 3D Reconstruction using Neural Radiance Fields

Soomin Lee, Le Chen+4 more|arXiv (Cornell University)|Sep 17, 2022

Advanced Vision and Imaging被引用 4

一句话总结

本文提出了一种基于不确定性的主动机器人3D重建下一视角选择策略，采用神经辐射场（NeRF）进行建模。通过计算NeRF表示中射线路径上权重分布的熵，该方法估计体素不确定性，并指导视角选择以提升重建质量，在合成与真实世界基准上仅用较少视角即达到最先进性能。

ABSTRACT

In this paper, we tackle the problem of active robotic 3D reconstruction of an object. In particular, we study how a mobile robot with an arm-held camera can select a favorable number of views to recover an object's 3D shape efficiently. Contrary to the existing solution to this problem, we leverage the popular neural radiance fields-based object representation, which has recently shown impressive results for various computer vision tasks. However, it is not straightforward to directly reason about an object's explicit 3D geometric details using such a representation, making the next-best-view selection problem for dense 3D reconstruction challenging. This paper introduces a ray-based volumetric uncertainty estimator, which computes the entropy of the weight distribution of the color samples along each ray of the object's implicit neural representation. We show that it is possible to infer the uncertainty of the underlying 3D geometry given a novel view with the proposed estimator. We then present a next-best-view selection policy guided by the ray-based volumetric uncertainty in neural radiance fields-based representations. Encouraging experimental results on synthetic and real-world data suggest that the approach presented in this paper can enable a new research direction of using an implicit 3D object representation for the next-best-view problem in robot vision applications, distinguishing our approach from the existing approaches that rely on explicit 3D geometric modeling.

研究动机与目标

• 解决机器人系统中主动3D重建的挑战，其中相机位姿选择需最大化信息增益。
• 克服现有方法依赖点云或体素等显式3D表示所导致的噪声、遮挡和重建伪影等问题。
• 利用隐式神经表示（如NeRF）实现高效且精确的密集3D重建，其具备高保真度的几何与外观建模能力。
• 开发一种可泛化的不确定性估计方法，适用于多种基于NeRF的架构，以支持主动视觉任务。

提出的方法

• 提出一种基于射线的体积累计不确定性估计器，计算NeRF表示中每条射线上颜色样本权重分布的熵。
• 将估计的不确定性用作几何模糊性的代理指标，从而识别出高不确定性区域，这些区域需要进一步观测。
• 设计一种下一视角选择策略，优先选择不确定性高的视角，同时应用区域聚类以避免冗余的局部视角选择。
• 将不确定性引导策略集成到迭代重建流程中，每次获取新视角后重新训练NeRF。
• 通过在标准NeRF和更快的TensoRF上验证，证明该方法具有模型无关性，性能提升稳定一致。
• 利用不确定性估计器实现动态视角规划，确保在极少视角数量下逐步提升3D重建质量。

实验结果

研究问题

• RQ1 NeRF射线权重分布的不确定性能否作为隐式3D表示中几何不确定性的可靠代理？
• RQ2 与随机、启发式或基于相似性的基线方法相比，不确定性引导策略在选择信息量丰富的下一视角方面有多高效？
• RQ3 与完整视角采集相比，所提方法在保持或提升重建质量的前提下，能在多大程度上减少所需视角数量？
• RQ4 该不确定性估计方法是否可在不同基于NeRF的架构（包括TensoRF等快速变体）之间实现泛化？

主要发现

• 在Lego基准上，仅使用54张图像，所提不确定性引导策略即取得0.5078的F-score，优于随机（0.4895）、启发式（0.4234）和基于相似性的策略（0.4163）。
• 仅用54张图像，该方法生成的3D网格质量已与使用全部150张图像的结果相当，展现出极高的样本效率。
• 像素平均熵从初始的1.748降至四轮迭代后的0.790，证实不确定性逐步降低，重建置信度持续提升。
• 使用TensoRF时，不确定性计算时间由5分钟缩短至2.8分钟，表明与快速NeRF实现具有良好的兼容性。
• 消融实验表明，区域聚类显著提升了重建质量，有效避免了视角集中问题，并实现了对遮挡区域的更好覆盖。
• 该方法在不同NeRF变体间具有泛化能力，如在TensoRF上仅需极少微调即可成功迁移，且性能提升一致。