[论文解读] SCONE: Surface Coverage Optimization in Unknown Environments by Volumetric Integration

Antoine Guédon, Pascal Monasse+1 more|arXiv (Cornell University)|Aug 22, 2022

Advanced Vision and Imaging被引用 4

一句话总结

SCONE 提出了一种深度学习方法，用于在大规模、未知的3D环境中进行下一最佳视角（NBV）预测，通过将体素占据预测与可见性分数的蒙特卡洛积分相结合。它使用神经网络预测占据概率和通过自注意力机制实现的可见性，从而在自由6D相机运动下实现精确的表面覆盖优化，相较于先前方法在物体级和大规模场景重建任务中表现更优。

ABSTRACT

Next Best View computation (NBV) is a long-standing problem in robotics, and consists in identifying the next most informative sensor position(s) for reconstructing a 3D object or scene efficiently and accurately. Like most current methods, we consider NBV prediction from a depth sensor like Lidar systems. Learning-based methods relying on a volumetric representation of the scene are suitable for path planning, but have lower accuracy than methods using a surface-based representation. However, the latter do not scale well with the size of the scene and constrain the camera to a small number of poses. To obtain the advantages of both representations, we show that we can maximize surface metrics by Monte Carlo integration over a volumetric representation. In particular, we propose an approach, SCONE, that relies on two neural modules: The first module predicts occupancy probability in the entire volume of the scene. Given any new camera pose, the second module samples points in the scene based on their occupancy probability and leverages a self-attention mechanism to predict the visibility of the samples. Finally, we integrate the visibility to evaluate the gain in surface coverage for the new camera pose. NBV is selected as the pose that maximizes the gain in total surface coverage. Our method scales to large scenes and handles free camera motion: It takes as input an arbitrarily large point cloud gathered by a depth sensor as well as camera poses to predict NBV. We demonstrate our approach on a novel dataset made of large and complex 3D scenes.

研究动机与目标

• 解决现有NBV方法在大规模复杂3D场景中缺乏可扩展性（基于表面的方法）或精度（体素方法）的局限性。
• 在不受限于物体周围球面运动的未知环境中，实现有效的路径规划与3D重建，支持自由6D相机运动。
• 通过在体素占据场上的蒙特卡洛积分，结合体素表示的可扩展性与基于表面度量的精度，实现二者融合。
• 开发一种可学习、可微分的框架，利用深度隐式函数和自注意力机制，为任意相机位姿预测表面覆盖增益。
• 创建一个基于CC许可的新大规模、复杂3D场景数据集，用于在自由相机运动条件下对NBV方法进行基准测试。

提出的方法

• 一个深度隐式网络从输入点云预测3D场景体素中的占据概率，实现高分辨率、可扩展的几何估计。
• 第二个神经模块使用自注意力机制，基于占据概率和相机历史记录，预测采样3D点在所有方向上的可见性概率。
• 在体素占据场上应用蒙特卡洛积分，以估计任意候选相机位姿的表面覆盖增益。
• NBV被选为能最大化总可见表面面积增益的位姿。
• 该方法使用局部点云网格而非全局嵌入，以高效扩展至大规模场景。
• 使用连续IoU度量和Kullback-Leibler散度损失来训练占据和可见性预测模块。

实验结果

研究问题

• RQ1 体素深度学习方法是否能在保持对大规模3D场景可扩展性的同时，实现高精度的表面覆盖估计？
• RQ2 在体素占据场上应用蒙特卡洛积分，是否能有效优化NBV选择的表面覆盖增益？
• RQ3 在自由6D运动场景中，引入相机历史记录是否能提升NBV选择性能？
• RQ4 在单物体数据集上训练的模型是否能泛化到具有自由相机运动的复杂大规模3D场景？
• RQ5 与最先进NBV方法相比，该方法在表面覆盖和重建质量方面表现如何？

主要发现

• 在ShapeNet数据集上，SCONE优于最先进方法，测试集平均表面覆盖率达到0.625，超越以往基于学习的方法。
• 在埃菲尔铁塔和伏仕宫城堡等大规模场景中，SCONE分别实现了0.741和0.802的平均表面覆盖，表现出强大的泛化能力。
• 消融实验证明，邻域特征对占据预测至关重要，引入后MSE从0.0816降至0.0397。
• 包含占据和可见性模块的完整模型相比基线，Kullback-Leibler散度损失降低30%，表明对覆盖增益分布的估计更优。
• 相机历史特征对NBV选择精度有轻微提升，尤其在识别最大增益方面，但对整体覆盖分布影响不大。
• 该方法在训练域外的复杂场景中泛化良好，经由一个基于CC许可的新大规模3D场景数据集验证。