[论文解读] PRIN/SPRIN: On Extracting Point-wise Rotation Invariant Features

Yang You, Yujing Lou+6 more|arXiv (Cornell University)|Feb 24, 2021

3D Shape Modeling and Analysis参考文献 47被引用 4

一句话总结

本文提出PRIN/SPRIN，一种用于3D点云分析的新型逐点旋转不变网络，通过密度感知自适应采样、球面体素卷积和点重采样，无需数据增强即可提取旋转不变特征。SPRIN在部件分割任务上达到最先进性能，在旋转后的ShapeNet和ModelNet40数据集上优于先前方法。

ABSTRACT

Point cloud analysis without pose priors is very challenging in real applications, as the orientations of point clouds are often unknown. In this paper, we propose a brand new point-set learning framework PRIN, namely, Point-wise Rotation Invariant Network, focusing on rotation invariant feature extraction in point clouds analysis. We construct spherical signals by Density Aware Adaptive Sampling to deal with distorted point distributions in spherical space. Spherical Voxel Convolution and Point Re-sampling are proposed to extract rotation invariant features for each point. In addition, we extend PRIN to a sparse version called SPRIN, which directly operates on sparse point clouds. Both PRIN and SPRIN can be applied to tasks ranging from object classification, part segmentation, to 3D feature matching and label alignment. Results show that, on the dataset with randomly rotated point clouds, SPRIN demonstrates better performance than state-of-the-art methods without any data augmentation. We also provide thorough theoretical proof and analysis for point-wise rotation invariance achieved by our methods. Our code is available on https://github.com/qq456cvb/SPRIN.

研究动机与目标

• 为解决在任意旋转下点云分析的挑战，现有方法在缺乏姿态先验或大量数据增强时表现不佳。
• 设计一种深度学习框架，直接从稀疏、随机旋转的点云中提取逐点旋转不变特征。
• 通过理论证明，在特定滤波器和采样条件下，PRIN与SPRIN均具备逐点旋转不变性。
• 将框架扩展为稀疏版本（SPRIN），直接在原始点云上运行，无需中间网格转换。
• 在分类、部件分割、3D特征匹配和标签对齐等任务中展示其广泛适用性。

提出的方法

• 提出密度感知自适应采样（DAAS），构建球面信号，以减少球面空间中非均匀点分布带来的偏差。
• 引入球面体素卷积（SVC），一种在球面体素网格上的旋转等变卷积，保留几何结构并捕捉凹面特征。
• 采用点重采样模块，从球面体素表示中提取逐点特征，实现输入与输出点之间的一一对应。
• 将PRIN扩展为SPRIN，一种稀疏变体，将输入点视为狄拉克δ函数，并在z轴旋转的左陪集上应用旋转不变滤波。
• 在SPRIN中使用相关性特征和三角形不变量作为旋转不变表示，以增强特征鲁棒性。
• 为PRIN与SPRIN在定义的滤波器和采样条件下提供逐点旋转不变性的严格理论证明。

实验结果

研究问题

• RQ1 能否在无需数据增强的情况下，通过深度学习框架从任意旋转的点云中提取逐点旋转不变特征？
• RQ2 球面体素卷积如何在处理非凸和凹面3D形状的同时保持旋转不变性？
• RQ3 何种采样策略能最小化从稀疏且非均匀点云中构建球面信号时的偏差？
• RQ4 与密集的PRIN相比，稀疏变体SPRIN在低密度点云上的性能保持程度如何？
• RQ5 所提出的框架能否在分类、分割、特征匹配和标签对齐等多样化3D任务中实现良好泛化？

主要发现

• SPRIN在旋转后的ShapeNet部件数据集上达到92.08%的准确率和82.67%的mIoU，优于最先进方法且无需数据增强。
• 使用DAAS的PRIN在相同数据集上达到85.99%的准确率和71.20%的mIoU，当带宽从4增至32时，准确率相对提升16.04%。
• DAAS采样在准确率上比均匀采样高2.86%，在mIoU上高3.73%，证实其在减少采样偏差方面的有效性。
• PRIN与SPRIN在极端点密度降低时仍保持高性能，SPRIN在256个点时达到64.17%的准确率和51.38%的mIoU。
• 特征可视化表明，与均匀采样相比，DAAS在旋转点云之间保持了更好的特征空间对应性。
• 消融实验表明，SPRIN中结合相关性和基于三角形的特征可获得最佳性能，准确率达到92.08%，mIoU为82.67%。