[论文解读] SSN: Shape Signature Networks for Multi-class Object Detection from Point Clouds

Xinge Zhu, Yuexin Ma+4 more|arXiv (Cornell University)|Apr 6, 2020

3D Shape Modeling and Analysis参考文献 32被引用 10

一句话总结

本文提出形状签名网络（SSN），一种新颖的3D目标检测框架，通过利用对称性补全、凸包投影和切比雪夫拟合从点云中学习紧凑且鲁棒的形状签名，从而提升多类别判别能力。该方法在nuScenes和Lyft数据集上达到最先进性能，相较于先前方法，mAP-3D提升5%，NDS提升10%，并在不同主干网络中表现出优异的可扩展性。

ABSTRACT

Multi-class 3D object detection aims to localize and classify objects of multiple categories from point clouds. Due to the nature of point clouds, i.e. unstructured, sparse and noisy, some features benefit-ting multi-class discrimination are underexploited, such as shape information. In this paper, we propose a novel 3D shape signature to explore the shape information from point clouds. By incorporating operations of symmetry, convex hull and chebyshev fitting, the proposed shape sig-nature is not only compact and effective but also robust to the noise, which serves as a soft constraint to improve the feature capability of multi-class discrimination. Based on the proposed shape signature, we develop the shape signature networks (SSN) for 3D object detection, which consist of pyramid feature encoding part, shape-aware grouping heads and explicit shape encoding objective. Experiments show that the proposed method performs remarkably better than existing methods on two large-scale datasets. Furthermore, our shape signature can act as a plug-and-play component and ablation study shows its effectiveness and good scalability

研究动机与目标

• 为解决在稀疏且噪声较大的点云中进行多类别3D目标检测的挑战，其中基于外观的方法因缺乏纹理而失效。
• 利用尚未被充分挖掘的形状信息，以提升3D目标检测中的类别判别能力。
• 设计一种紧凑、鲁棒且可扩展的形状签名，以捕捉不同物体类别之间的结构差异。
• 将形状签名集成到检测框架中，通过形状感知分组和辅助监督增强特征学习。
• 验证该方法在不同主干网络和数据集上的有效性与泛化能力。

提出的方法

• 首先通过应用对称性操作，对激光雷达扫描中不完整的点云进行补全，构建形状签名。
• 将点云投影到三个正交视图（鸟瞰图、前视图、侧视图），以捕捉多视角的形状结构。
• 计算每个视图的凸包，以表示外轮廓，增强对稀疏性的鲁棒性。
• 采用角度-半径策略编码凸包边界，将每个角度方向映射为中心点的径向距离。
• 对角度-半径函数应用切比雪夫多项式逼近，降低维度的同时保留关键形状特征。
• 最终得到的系数构成一种紧凑、可微的形状签名，在训练中作为软约束使用。

实验结果

研究问题

• RQ1 通过几何操作生成的形状签名是否能提升点云中多类别3D目标检测的性能？
• RQ2 与隐式表示或基于外观的表示相比，所提出的形状签名在鲁棒性和判别能力方面表现如何？
• RQ3 集成形状感知分组头和形状签名目标是否能提升在不同物体类别间的泛化能力？
• RQ4 该形状签名在不同主干网络和数据集上的可扩展性如何？
• RQ5 该形状签名是否可作为即插即用组件，无需修改网络架构？

主要发现

• 在nuScenes数据集上，SSN相较PointPillar将NDS提升10%（从44.9提升至49.8），mAP-3D提升5%（从29.4提升至36.6）。
• 在Lyft数据集上，SSN实现16.2%的mAP-3D，相较PointPillar绝对提升2.8%，且在NDS上领先基线10%。
• 形状感知分组头相较一对一分组头在NDS上提升11.9%，在mAP-3D上提升7.1%，证明了基于形状的特征共享优势。
• 所提出的形状签名在不同主干网络（PointPillar和Second）和数据集（nuScenes、Lyft、Kitti）上均持续提升性能，展现出强大的可扩展性。
• TSNE可视化结果表明，形状签名向量按类别聚类，验证了其作为判别性特征学习软约束的有效性。
• 消融实验表明，前3个切比雪夫系数已能捕捉足够形状信息，高阶项贡献甚微。