[论文解读] SRINet: Learning Strictly Rotation-Invariant Representations for Point Cloud Classification and Segmentation

Xiao Sun, Zhouhui Lian+1 more|arXiv (Cornell University)|Nov 6, 2019

3D Shape Modeling and Analysis参考文献 12被引用 9

一句话总结

SRINet 提出了一种新颖的点投影特征，可在无需数据增强的情况下，实现3D点云分类与分割任务中的严格旋转不变表示。通过将点投影到三个主轴上，并结合基于PointNet的主干网络、图聚合机制以及可学习的关键点描述符，该方法在ModelNet40上实现了最先进性能，即使在旋转输入下也优于现有方法。

ABSTRACT

Point cloud analysis has drawn broader attentions due to its increasing demands in various fields. Despite the impressive performance has been achieved on several databases, researchers neglect the fact that the orientation of those point cloud data is aligned. Varying the orientation of point cloud may lead to the degradation of performance, restricting the capacity of generalizing to real applications where the prior of orientation is often unknown. In this paper, we propose the point projection feature, which is invariant to the rotation of the input point cloud. A novel architecture is designed to mine features of different levels. We adopt a PointNet-based backbone to extract global feature for point cloud, and the graph aggregation operation to perceive local shape structure. Besides, we introduce an efficient key point descriptor to assign each point with different response and help recognize the overall geometry. Mathematical analyses and experimental results demonstrate that the proposed method can extract strictly rotation-invariant representations for point cloud recognition and segmentation without data augmentation, and outperforms other state-of-the-art methods.

研究动机与目标

• 为解决深度学习模型在3D点云分析中依赖标准朝向而导致在旋转下性能下降的问题。
• 开发一种严格旋转不变的表示方法，避免依赖数据增强来提升鲁棒性。
• 通过手动设计的关键点描述符，强调几何显著区域，以改进特征学习。
• 利用统一架构同时实现分类与分割任务中的全局与局部特征提取。
• 证明可直接从坐标中学习旋转不变特征，而无需中间体素化或基于视图的转换。

提出的方法

• 点投影特征将每个3D点映射为4D表示，通过在三个主轴上的投影以及从中心点出发的向量模长实现，确保旋转不变性。
• 基于PointNet的主干网络处理投影后的4D特征，以提取全局点云表示。
• 在K近邻上应用图聚合，以捕捉投影空间中的局部形状结构。
• 基于局部法向变化显式定义关键点描述符，使角点和边缘区域获得更高响应，从而引导特征学习。
• 通过逐元素相加将全局特征与关键点响应相结合，增强对显著几何结构的敏感性。
• 该架构在分类与分割任务间共享，采用统一的前端特征提取头。

实验结果

研究问题

• RQ1 深度学习模型是否能在不依赖数据增强的情况下，实现3D点云的严格旋转不变表示？
• RQ2 如何在旋转不变特征空间中有效捕捉局部几何结构？
• RQ3 在基于PointNet的架构中，手动设计的关键点描述符是否能提升3D形状识别性能？
• RQ4 与现有旋转不变特征（如点对特征）相比，所提出的点投影特征在判别能力上表现如何？
• RQ5 在旋转不变3D分析中，实现鲁棒性能的最优邻居数和输入点数是多少？

主要发现

• SRINet在ModelNet40分类任务中达到87.01%的准确率，在1024个输入点下的部件分割任务中达到89.28%的准确率，优于最先进方法。
• 该方法在旋转下保持高性能，即使输入点云被旋转，也未观察到性能下降，证明了其严格的旋转不变性。
• 当移除关键点检测模块时，分类准确率下降1.42%，IoU下降0.66%，证实其有效性。
• 使用1024个输入点时性能最佳，512或2048个点时性能仅轻微下降，表明对分辨率变化具有鲁棒性。
• 点投影特征在相同设置下达到82.2%的分类准确率，显著优于点对特征的68.9%，证明其更强的判别能力。
• 使用49个邻居的图聚合可实现最高分割性能（IoU: 76.56%），表明更广的局部感受野能增强形状感知能力。