[论文解读] Pointwise Rotation-Invariant Network with Adaptive Sampling and 3D Spherical Voxel Convolution

Yang You, Yujing Lou+5 more|arXiv (Cornell University)|Nov 23, 2018

3D Shape Modeling and Analysis参考文献 37被引用 18

一句话总结

本文提出PRIN，一种逐点旋转不变的神经网络，可在无需姿态先验的情况下实现3D点云的旋转等变特征学习。通过结合密度感知自适应采样、球面体素卷积和点重采样，PRIN在任意旋转下的形状分类、部件分割和3D特征匹配任务中均达到最先进性能，且无需数据增强，优于现有方法。

ABSTRACT

Point cloud analysis without pose priors is very challenging in real applications, as the orientations of point clouds are often unknown. In this paper, we propose a brand new point-set learning framework PRIN, namely, Pointwise Rotation-Invariant Network, focusing on rotation-invariant feature extraction in point clouds analysis. We construct spherical signals by Density Aware Adaptive Sampling to deal with distorted point distributions in spherical space. In addition, we propose Spherical Voxel Convolution and Point Re-sampling to extract rotation-invariant features for each point. Our network can be applied to tasks ranging from object classification, part segmentation, to 3D feature matching and label alignment. We show that, on the dataset with randomly rotated point clouds, PRIN demonstrates better performance than state-of-the-art methods without any data augmentation. We also provide theoretical analysis for the rotation-invariance achieved by our methods.

研究动机与目标

• 解决在任意旋转下点云分析的挑战，现有方法在缺乏姿态先验时表现不佳。
• 消除对数据增强以实现旋转不变性的依赖，降低计算成本。
• 实现从原始旋转点云端到端学习旋转不变特征。
• 在密集预测任务（如部件分割）中保持输入与输出之间的点对点对应关系。
• 支持多样化应用，包括3D特征匹配和使用旋转鲁棒特征的标签对齐。

提出的方法

• 密度感知自适应采样（DAAS）将稀疏点云映射到球面体素网格，通过加权sin(β)以适应非均匀点密度，从而保持几何保真度。
• 球面体素卷积（SVC）利用SO(3)上的Haar测度导出的旋转不变滤波操作，在球面体素网格上执行3D卷积。
• 点重采样从球面体素表示中重建逐点特征，实现在保持旋转不变性的同时进行逐点预测。
• 网络架构将球面体素特征与全局最大池化结合用于分类，同时采用逐点头用于分割。
• 理论分析通过SO(3)上的Haar测度不变性确认了旋转不变性，确保在所有方向上的一致特征学习。
• 该框架支持全局与局部任务，包括3D点匹配和标签对齐，均基于共享的旋转不变特征。

实验结果

研究问题

• RQ1 能否设计一种深度学习框架，直接从3D点云中学习旋转不变特征，而无需规范朝向或数据增强？
• RQ2 如何使球面体素化在稀疏点云中非均匀点分布的情况下保持鲁棒性？
• RQ3 密度感知采样与球面卷积在特征学习中保持旋转不变性方面起到何种作用？
• RQ4 所提出方法能否在分类、部件分割和任意旋转下的3D匹配等多样化3D任务中实现泛化？
• RQ5 球面卷积操作的理论不变性与基准数据集上的实际性能之间有何关联？

主要发现

• PRIN在ShapeNet部件数据集和ModelNet40上均无需任何数据增强即达到最先进性能，优于现有旋转不变方法。
• 在旋转点云上，PRIN在部件分割和分类任务中均保持高精度，展现出对任意朝向的强鲁棒性。
• 在3D特征匹配和标签对齐任务中，PRIN取得优异结果，证实其在多样化3D视觉任务中的泛化能力。
• 理论分析证实球面卷积操作在SO(3)旋转下保持不变，解释了其实际性能的鲁棒性。
• 失败案例揭示了在处理极端凹面或极稀疏区域时存在局限，提示在采样与特征聚合方面仍有改进空间。