[论文解读] PanopticFusion: Online Volumetric Semantic Mapping at the Level of Stuff and Things

Gaku Narita, Takashi Seno+2 more|arXiv (Cornell University)|Mar 4, 2019

Robotics and Sensor-Based Localization参考文献 34被引用 16

一句话总结

PanopticFusion 提出了一种在线、体素化的语义映射系统，通过融合2D全景预测与空间哈希体素地图，联合分割场景中的‘背景区域’（如地板、墙壁）与‘可数物体’（如椅子、人）。该方法在ScanNet v2数据集上实现了3D语义分割与实例分割的最先进或具有竞争力的性能，具备实时处理能力，并可生成带标签的网格重建结果。

ABSTRACT

We propose PanopticFusion, a novel online volumetric semantic mapping system at the level of stuff and things. In contrast to previous semantic mapping systems, PanopticFusion is able to densely predict class labels of a background region (stuff) and individually segment arbitrary foreground objects (things). In addition, our system has the capability to reconstruct a large-scale scene and extract a labeled mesh thanks to its use of a spatially hashed volumetric map representation. Our system first predicts pixel-wise panoptic labels (class labels for stuff regions and instance IDs for thing regions) for incoming RGB frames by fusing 2D semantic and instance segmentation outputs. The predicted panoptic labels are integrated into the volumetric map together with depth measurements while keeping the consistency of the instance IDs, which could vary frame to frame, by referring to the 3D map at that moment. In addition, we construct a fully connected conditional random field (CRF) model with respect to panoptic labels for map regularization. For online CRF inference, we propose a novel unary potential approximation and a map division strategy. We evaluated the performance of our system on the ScanNet (v2) dataset. PanopticFusion outperformed or compared with state-of-the-art offline 3D DNN methods in both semantic and instance segmentation benchmarks. Also, we demonstrate a promising augmented reality application using a 3D panoptic map generated by the proposed system.

研究动机与目标

• 实现一种实时、在线的3D语义映射系统，能够区分无定形背景区域（stuff）与可数物体（things）。
• 利用空间哈希体素地图，实现大规模、密集的3D重建，同时附带语义标签与实例级分割结果。
• 通过在融合过程中利用3D地图查找，确保跨帧的实例ID保持一致。
• 通过在线全连接CRF正则化方法提升全景标签的准确性，结合新颖的推理优化策略。

提出的方法

• 将每帧输入的RGB图像的2D语义与实例分割输出融合为全景标签（背景区域为类别标签，可数物体为实例ID）。
• 将全景标签与深度测量值集成至空间哈希体素地图中，同时通过3D地图查找追踪实例ID，确保一致性。
• 在全景标签上应用全连接CRF模型进行地图正则化，采用基于有限地图存储信息的新式单变量势近似方法。
• 采用地图分块策略，在不损失准确性的前提下降低CRF推理时间，实现实时处理。
• 使用光线投射法进行体素集成，确保计算效率与场景规模或物体数量无关。
• 从最终的体素地图中提取彩色、带标签的3D网格，以支持下游应用。

实验结果

研究问题

• RQ1 能否构建一个实时在线系统，利用2D全景预测实现对3D背景区域与可数物体的联合语义分割？
• RQ2 在帧间标签存在差异的情况下，如何在3D体素地图中保持实例ID的跨帧一致性？
• RQ3 全连接CRF正则化是否能在不带来计算成本过高的前提下，提升在线3D映射中全景标签的准确性？
• RQ4 地图正则化在大规模、在线3D语义映射中，对识别性能的提升程度如何？
• RQ5 生成的3D全景地图能否支持实际应用，例如具备语义感知交互能力的增强现实应用？

主要发现

• PanopticFusion在ScanNet v2数据集的3D语义与实例分割基准测试中，性能优于或匹配当前最先进的离线3D深度神经网络方法。
• 地图正则化显著提升了几乎所有类别的识别性能，定性结果表明，通过空间上下文信息有效减少了全景标签中的噪声。
• 系统吞吐量约为4.3 Hz，受限于Mask R-CNN的推理速度，尽管处理流程复杂，仍实现了实时运行。
• 地图正则化的计算时间约为每10秒4.5秒，通过限制处理范围至相机邻近的体素块可进一步降低。
• 系统成功实现了大规模场景的重建，并提取了带标签的3D网格，支持具备自然遮挡与碰撞效果的上下文感知型增强现实应用。
• 3D全景地图支持通过简单几何分割实现对椅子、桌子等物体的精确位姿估计，从而实现语义感知的机器人与AR交互。