[论文解读] SemanticFusion: Dense 3D Semantic Mapping with Convolutional Neural Networks

John McCormac, Ankur Handa+2 more|arXiv (Cornell University)|Sep 16, 2016

Robotics and Sensor-Based Localization参考文献 20被引用 44

一句话总结

SemanticFusion 提出了一种实时、在线系统，通过结合卷积神经网络（CNN）与基于弹性体素（surfel-based）的 SLAM 系统 ElasticFusion，将 RGB-D 视频中的 2D 语义预测融合为密集且全局一致的 3D 语义地图。该方法利用具备回环检测能力的多视角对应关系，提升了 2D 语义分割的准确性，尤其在视角变化较大的情况下表现更优，实现了约 25 Hz 的帧率，并在 NYUv2 和自建办公室数据集上均取得了显著性能提升。

ABSTRACT

Ever more robust, accurate and detailed mapping using visual sensing has proven to be an enabling factor for mobile robots across a wide variety of applications. For the next level of robot intelligence and intuitive user interaction, maps need extend beyond geometry and appearence - they need to contain semantics. We address this challenge by combining Convolutional Neural Networks (CNNs) and a state of the art dense Simultaneous Localisation and Mapping (SLAM) system, ElasticFusion, which provides long-term dense correspondence between frames of indoor RGB-D video even during loopy scanning trajectories. These correspondences allow the CNN's semantic predictions from multiple view points to be probabilistically fused into a map. This not only produces a useful semantic 3D map, but we also show on the NYUv2 dataset that fusing multiple predictions leads to an improvement even in the 2D semantic labelling over baseline single frame predictions. We also show that for a smaller reconstruction dataset with larger variation in prediction viewpoint, the improvement over single frame segmentation increases. Our system is efficient enough to allow real-time interactive use at frame-rates of approximately 25Hz.

研究动机与目标

• 为移动机器人实现实时、密集的 3D 语义制图，并附带丰富的语义标注。
• 通过利用几何对应关系融合多个视角的预测结果，提升 2D 语义分割的准确性。
• 利用鲁棒且具备回环检测能力的基于体素的 SLAM 系统 ElasticFusion，确保语义融合的长期一致性。
• 证明 SLAM 不仅支持 3D 语义制图，还能通过多视角正则化显著提升 2D 分割性能。
• 探索 SLAM 与深度学习之间的协同作用，以在室内环境中构建更精确、更具交互性的语义地图。

提出的方法

• 将预训练的 RGB-D CNN 与 ElasticFusion SLAM 系统集成，建立密集的 2D 到 3D 对应关系。
• 在 ElasticFusion 中使用体素表示表面，以在回环和视角变化下维持持久的几何与语义关联。
• 采用贝叶斯融合机制，将来自多帧的语义预测概率性地融合为单一、全局一致的 3D 语义地图。
• 使用全连接条件随机场（CRF）进行后处理，以优化最终输出中语义标签的空间一致性。
• 每 10 帧执行一次 CNN 推理，每 500 帧执行一次 CRF 推理，以在实时性能与精度之间取得平衡。
• 利用 SLAM 系统提供的几何一致性对语义预测进行正则化，提升对视角变化的鲁棒性。

实验结果

研究问题

• RQ1 能否利用 SLAM 衍生的对应关系，有效将多视角语义预测融合为一致的 3D 语义地图？
• RQ2 与单帧基线相比，融合多个视角的语义预测是否能提升 2D 语义分割的准确性？
• RQ3 视角变化如何影响多视角融合在语义分割中带来的性能增益？
• RQ4 实时、交互式系统能否在使用 CNN 和 SLAM 的情况下，同时实现高精度的 3D 重建与语义标注？
• RQ5 在视角多样性有限的数据集与视角覆盖广泛的扫描数据集之间，SLAM 增强的语义融合性能提升程度有何差异？

主要发现

• SemanticFusion 实现了约 25 Hz 的实时帧率，支持交互式、在线的 3D 语义制图。
• 在 NYUv2 数据集上，尽管视角变化有限，多视角融合仍显著提升了 2D 语义分割的准确性，优于单帧预测。
• 在自建的办公室数据集上，由于视角变化更大，融合带来的性能增益更加显著，证明了多视角信息的价值。
• 系统通过 SLAM 实现了长期语义标注的一致性，即使在经历大幅回环后，仍能保持稳定，得益于持久的体素关联。
• 贝叶斯融合机制有效结合了多视角预测，降低了噪声并提升了标签置信度。
• CRF 后处理进一步优化了空间一致性，但计算开销较大，目前在实时模式下仅偶尔或离线运行。