[论文解读] Rotation Invariant Convolutions for 3D Point Clouds Deep Learning

Zhiyuan Zhang, Binh‐Son Hua+2 more|arXiv (Cornell University)|Aug 17, 2019

3D Surveying and Cultural Heritage被引用 12

一句话总结

本文提出 RIConv，一种用于 3D 点云的旋转不变卷积算子，通过使用相对于基于质心的参考方向的低层次几何特征（如距离和角度），确保对 6-DoF 变换的不变性。通过结合这些特征与分箱策略以解决点顺序问题，该方法在对象分类和分割任务中实现了对任意旋转的一致且高精度的性能表现，优于先前方法在旋转下的泛化能力。

ABSTRACT

Recent progresses in 3D deep learning has shown that it is possible to design special convolution operators to consume point cloud data. However, a typical drawback is that rotation invariance is often not guaranteed, resulting in networks being trained with data augmented with rotations. In this paper, we introduce a novel convolution operator for point clouds that achieves rotation invariance. Our core idea is to use low-level rotation invariant geometric features such as distances and angles to design a convolution operator for point cloud learning. The well-known point ordering problem is also addressed by a binning approach seamlessly built into the convolution. This convolution operator then serves as the basic building block of a neural network that is robust to point clouds under 6DoF transformations such as translation and rotation. Our experiment shows that our method performs with high accuracy in common scene understanding tasks such as object classification and segmentation. Compared to previous works, most importantly, our method is able to generalize and achieve consistent results across different scenarios in which training and testing can contain arbitrary rotations.

研究动机与目标

• 为解决现有 3D 点云卷积算子缺乏旋转不变性的问题，该问题限制了其在任意旋转下的泛化能力。
• 解决点云卷积中的点顺序模糊问题，该问题会影响不同输入排列下的特征一致性。
• 设计一种对输入点的旋转和排列均鲁棒的单一卷积算子。
• 构建一个深度学习模型，使其在 3D 场景理解任务中对各种旋转场景具有稳定的泛化能力。
• 在任意 SO(3) 旋转下，展示对象分类和部件分割任务中的最先进一致性与准确性。

提出的方法

• 该方法通过从参考点到局部点云质心的向量计算参考方向，从而实现旋转不变的特征计算。
• 从每个点相对于参考方向提取旋转不变的几何特征（如距离、角度），形成与全局旋转无关的特征向量。
• 通过多层感知机（MLP）将这些几何特征转换为更高维的表示，以增强特征表达能力。
• 将点特征按沿参考方向向量的空间分箱进行分组，并在每个箱内应用最大池化以聚合局部信息。
• 对池化后的分箱特征应用一维卷积，生成最终的输出特征图，确保局部区域内空间不变性。
• 将整个卷积操作集成到紧凑的 CNN 架构中，用于分类和分割任务的端到端训练。

实验结果

研究问题

• RQ1 能否设计一种适用于 3D 点云的卷积算子，使其对任意 6-DoF 变换（包括旋转和位移）保持不变？
• RQ2 如何在不依赖排列等变网络的前提下，解决点云卷积中的点顺序模糊问题？
• RQ3 低层次几何特征（如距离和角度）能否在深度学习中有效用于构建旋转不变表示？
• RQ4 所提出的方法在 3D 场景理解任务中对多样化旋转场景的泛化能力是否优于现有方法？
• RQ5 原始坐标信息的丢失在多大程度上影响性能？该权衡能否被缓解？

主要发现

• 所提出的 RIConv 算子在所有测试旋转场景中均表现出一致的性能，包括 SO(3) 旋转，而先前方法常在此类情况下失效或显著退化。
• 在对象分类任务中，该方法在 ModelNet40 上对任意旋转实现了 89.7% 的总体准确率，优于先前方法在泛化能力方面的表现。
• 在对象部件分割任务中，该方法实现了最先进性能，定性结果表明其在复杂旋转下仍具鲁棒性。
• 该方法对不同大小的点云具有良好的泛化能力，在 28 到 1024 个点的范围内均保持高准确率，表明其具备良好的可扩展性。
• 使用多个特征向量（64 个长度为 512 的向量）而非单一全局向量，可略微提升准确率，表明更丰富的特征表示有助于分类性能。
• 当用原始 3D 坐标替代几何特征时，该方法达到 91.8% 的准确率，表明不变性与判别能力之间存在权衡。