[论文解读] Point Cloud Instance Segmentation using Probabilistic Embeddings

Biao Zhang, Peter Wonka|arXiv (Cornell University)|Nov 30, 2019

3D Shape Modeling and Analysis参考文献 40被引用 12

一句话总结

本文提出了一种新颖的概率嵌入框架，用于点云实例分割，将每个点表示为三变量正态分布以建模不确定性。通过引入中心感知聚类损失并利用轴向和点相关的不确定性，该方法在PartNet数据集上的平均类别mAP实现了3.1%的绝对提升，创下细粒度实例分割的新SOTA。

ABSTRACT

In this paper we propose a new framework for point cloud instance segmentation. Our framework has two steps: an embedding step and a clustering step. In the embedding step, our main contribution is to propose a probabilistic embedding space for point cloud embedding. Specifically, each point is represented as a tri-variate normal distribution. In the clustering step, we propose a novel loss function, which benefits both the semantic segmentation and the clustering. Our experimental results show important improvements to the SOTA, i.e., 3.1% increased average per-category mAP on the PartNet dataset.

研究动机与目标

• 为解决3D点云中实例分割的探索有限，特别是细粒度部件级分割的问题。
• 通过在点嵌入中建模不确定性，超越确定性表示，提升分割精度。
• 设计一种聚类损失，以同时提升语义分割和实例聚类性能。
• 证明概率嵌入在3D实例分割中优于高维确定性嵌入。

提出的方法

• 每个点被嵌入为三变量正态分布（均值向量与协方差矩阵），以实现点与轴相关的不确定性建模。
• 嵌入空间使用各向异性的异方差高斯分布，以捕捉方向性不确定性，提升在物体边界处的鲁棒性。
• 提出一种新颖的中心感知损失函数，以指导聚类，促使嵌入围绕实例中心聚集，同时保持语义一致性。
• 将概率嵌入框架集成到现有的基于嵌入的实例分割流程中，保持与标准主干网络（如PointNet++）的兼容性。
• 通过同时考虑均值与协方差的概率核计算嵌入间的相似性，实现对重叠实例的更好分离。
• 采用端到端训练，损失函数结合了语义交叉熵与所提出的聚类损失。

实验结果

研究问题

• RQ1 在点云嵌入中建模不确定性是否能提升实例分割性能？
• RQ2 具有轴向与点相关不确定性的概率嵌入空间是否优于确定性的3D或6D嵌入？
• RQ3 与基于MSE的标准损失相比，中心感知聚类损失在鲁棒性与准确性方面表现如何？
• RQ4 概率嵌入能否在高实例密度的细粒度类别上实现良好泛化？

主要发现

• 所提方法在PartNet数据集上的平均类别mAP实现了3.1%的绝对提升，创下新SOTA。
• 各向异性的异方差概率嵌入变体显著优于所有基线方法，包括6D确定性嵌入。
• 在物体边界处学习到的不确定性最高，表明模型有效捕捉了几何上的模糊性。
• 中心感知损失在大尺寸细粒度类别上使性能提升5.2%，并降低方差，显示出更高的稳定性。
• 定性结果表明，概率嵌入能产生更强的几何形变，表明实例聚类的分离效果更优。
• 完整模型在AllAvg划分上达到57.5%的mAP，较之前SOTA提升2.5%，在最具挑战性的细粒度类别子集上提升达10.7%。