[论文解读] SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation

Weiyue Wang, Ronald Yu+2 more|arXiv (Cornell University)|Nov 23, 2017

3D Shape Modeling and Analysis参考文献 54被引用 7

一句话总结

SGPN 提出了一种新颖的深度学习框架，用于基于相似性矩阵表示点对点关系的三维点云实例分割，实现了端到端的组提案、置信度分数和语义标签预测。该方法在 ShapeNet、S3DIS 和 ScanNet 上均取得了最先进性能，在 ScanNet 上的平均精度（AP）达到 35.1%（IoU=0.25），并通过融合 2D CNN 特征显著提升了三维检测与语义分割性能。

ABSTRACT

We introduce Similarity Group Proposal Network (SGPN), a simple and intuitive deep learning framework for 3D object instance segmentation on point clouds. SGPN uses a single network to predict point grouping proposals and a corresponding semantic class for each proposal, from which we can directly extract instance segmentation results. Important to the effectiveness of SGPN is its novel representation of 3D instance segmentation results in the form of a similarity matrix that indicates the similarity between each pair of points in embedded feature space, thus producing an accurate grouping proposal for each point. To the best of our knowledge, SGPN is the first framework to learn 3D instance-aware semantic segmentation on point clouds. Experimental results on various 3D scenes show the effectiveness of our method on 3D instance segmentation, and we also evaluate the capability of SGPN to improve 3D object detection and semantic segmentation results. We also demonstrate its flexibility by seamlessly incorporating 2D CNN features into the framework to boost performance.

研究动机与目标

• 开发一种简单、灵活且高效的点云三维实例分割深度学习框架，其设计直观地模仿二维实例分割方法的思路。
• 通过引入一种新颖的相似性矩阵表示方法，解决三维实例分割中缺乏端到端可训练框架的问题，以捕捉特征空间中的点间关系。
• 实现从单一网络直接预测实例分组、语义标签和置信度分数，无需后续处理。
• 通过在架构上仅作最小修改，利用相同框架提升三维目标检测与语义分割性能。
• 通过无缝集成来自 RGBD 图像的 2D CNN 特征，展示该框架的灵活性。

提出的方法

• 使用 PointNet/PointNet++ 从原始三维点云中提取每个点的特征嵌入。
• 通过计算所有点对特征向量之间的余弦距离或 L2 距离构建相似性矩阵，其中高相似度表示属于同一实例。
• 相似性矩阵的每一行代表一个候选实例提案，通过学习的置信度图预测置信度分数，以过滤低质量提案。
• 通过独立分支为每个点预测语义分割标签，为每个组提案分配类别标签。
• 通过最少的后处理操作，直接从组提案中提取紧密的三维边界框。
• 该框架支持通过与点特征拼接的方式集成来自 RGBD 图像的 2D CNN 特征，从而在不改变网络架构的前提下提升性能。

实验结果

研究问题

• RQ1 基于相似性学习的统一深度学习框架是否能在点云上实现最先进的三维实例分割性能？
• RQ2 相似性矩阵表示在建模点间关系以实现点分组为物体实例方面有多有效？
• RQ3 SGPN 在多大程度上可通过共享特征学习提升三维目标检测与语义分割性能？
• RQ4 将来自 RGBD 数据的 2D CNN 特征集成到 SGPN 中，对三维实例分割性能的提升效果如何？
• RQ5 SGPN 是否能在包括真实世界室内场景和合成形状在内的多样化三维数据集上实现良好泛化？

主要发现

• 在 ScanNet 数据集上，SGPN 在 IoU 阈值为 0.25 时达到 35.1% 的平均精度（mAP），优于基线方法 Seg-Cluster。
• 在 S3DIS 数据集上，SGPN 实现了 35.1% 的 mAP 用于实例分割，表明其在不同室内场景类型中具有强大的泛化能力。
• 该方法通过从组提案中直接生成紧密的三维边界框并辅以最少的后处理，显著提升了三维目标检测性能。
• 通过联合学习实例分组与类别预测，语义分割的准确性得到提升，在所有评估数据集中均表现出一致的性能改进。
• 集成来自 RGBD 图像的 2D CNN 特征带来了可测量的性能增益，证实了该框架的灵活性与可扩展性。
• 块合并算法成功从重叠块中重建出完整场景的实例标签，保持了高一致性并减少了标签碎片化。