[论文解读] NeU-NBV: Next Best View Planning Using Uncertainty Estimation in Image-Based Neural Rendering

Liren Jin, Xieyuanli Chen+2 more|arXiv (Cornell University)|Mar 2, 2023

Advanced Vision and Imaging被引用 4

一句话总结

本文提出 NeU-NBV，一种无地图的下一最佳视角（NBV）规划框架，利用基于图像的神经渲染中的不确定性估计来指导RGB相机在主动场景探索中的部署。通过选择预测不确定性最高的视角，该方法在无需重新训练神经辐射场的情况下高效获取信息丰富的图像，相较于基线方法，实现了更优的场景重建质量。

ABSTRACT

Autonomous robotic tasks require actively perceiving the environment to achieve application-specific goals. In this paper, we address the problem of positioning an RGB camera to collect the most informative images to represent an unknown scene, given a limited measurement budget. We propose a novel mapless planning framework to iteratively plan the next best camera view based on collected image measurements. A key aspect of our approach is a new technique for uncertainty estimation in image-based neural rendering, which guides measurement acquisition at the most uncertain view among view candidates, thus maximising the information value during data collection. By incrementally adding new measurements into our image collection, our approach efficiently explores an unknown scene in a mapless manner. We show that our uncertainty estimation is generalisable and valuable for view planning in unknown scenes. Our planning experiments using synthetic and real-world data verify that our uncertainty-guided approach finds informative images leading to more accurate scene representations when compared against baselines.

研究动机与目标

• 为在测量预算有限的未知场景中解决主动感知的挑战。
• 开发一种无地图的NBV规划框架，避免在线任务中昂贵的NeRF重新训练。
• 利用基于图像的神经渲染中的不确定性估计，指导数据采集至最具信息量的视角。
• 通过有针对性的图像采集提升场景表征质量，而无需显式全局地图。
• 将在线数据采集与离线NeRF训练解耦，以提升计算效率。

提出的方法

• 该框架使用共享编码器将附近的参考图像映射到潜在特征空间，以表示场景。
• 通过学习的不确定性头预测新视角合成中的像素级不确定性，且无需真实标签。
• 下一最佳视角被选为场景中平均不确定性最高的候选视角。
• 不确定性估计具有跨场景的泛化能力，可在无需微调的情况下部署于新环境。
• 该方法增量式地将新测量添加到图像集合中，并实时更新不确定性估计。
• 场景重建在离线阶段使用由不确定性引导规划器收集的图像训练的NeRF完成。

Figure 1 : Our novel NBV planning framework exploits uncertainty estimation in image-based neural rendering to guide measurement acquisition. Given reference images from the current image collection of the scene (black frustums), our network outputs per-pixel uncertainty estimates at sampled view ca

实验结果

研究问题

• RQ1 基于图像的神经渲染中的不确定性估计能否有效指导未知场景中的下一最佳视角规划？
• RQ2 与启发式或随机策略相比，基于不确定性的视角选择在场景重建质量方面表现如何？
• RQ3 不确定性估计能否在不重新训练或测试时适应的情况下泛化至新场景？
• RQ4 基于不确定性的图像采集是否能在数据有限的情况下提升NeRF性能？
• RQ5 该框架能否实现在线数据采集与计算成本高昂的NeRF重新训练的解耦？

主要发现

• 在汽车场景中，基于不确定性的方法实现了更高的PSNR（28.35 ± 0.53）和SSIM（0.934 ± 0.004），优于随机策略（25.73 ± 0.83 PSNR，0.908 ± 0.012 SSIM）。
• 在室内场景中，该方法实现了30.46 ± 0.24的PSNR和0.941 ± 0.003的SSIM，优于随机规划（28.46 ± 0.92 PSNR，0.920 ± 0.007 SSIM）。
• 定性结果表明，由于有针对性的图像采集，该方法捕捉到了更多结构细节，例如汽车引擎盖。
• 通过将数据采集与重建解耦，该方法减少了对昂贵NeRF重新训练的依赖，实现了高效的在线运行。
• 通过不确定性引导规划收集的图像在数据有限条件下显著提升了NeRF训练性能。
• 不确定性估计具有跨场景泛化能力，可在无需场景特定适应的情况下实现有效规划。

Figure 2 : Overview of our mapless NBV planning framework. We leverage uncertainty estimation in image-based neural rendering to actively guide measurement acquisition in unknown scenes.