[论文解读] Rotation-Invariant Local-to-Global Representation Learning for 3D Point Cloud

Seohyun Kim, Jaeyoo Park+1 more|arXiv (Cornell University)|Oct 7, 2020

3D Shape Modeling and Analysis参考文献 27被引用 43

一句话总结

介绍 RI-GCN，一种旋转不变的、局部到全球的点云图卷积框架，能够在不进行旋转数据增强的情况下学习旋转鲁棒的特征，并在旋转增强基准上达到最先进的结果。

ABSTRACT

We propose a local-to-global representation learning algorithm for 3D point cloud data, which is appropriate to handle various geometric transformations, especially rotation, without explicit data augmentation with respect to the transformations. Our model takes advantage of multi-level abstraction based on graph convolutional neural networks, which constructs a descriptor hierarchy to encode rotation-invariant shape information of an input object in a bottom-up manner. The descriptors in each level are obtained from a neural network based on a graph via stochastic sampling of 3D points, which is effective in making the learned representations robust to the variations of input data. The proposed algorithm presents the state-of-the-art performance on the rotation-augmented 3D object recognition and segmentation benchmarks, and we further analyze its characteristics through comprehensive ablative experiments.

研究动机与目标

• 在不依赖大量数据增强的情况下，激发对3D点云的旋转不变识别。
• 基于图卷积构建对旋转鲁棒的局部到全局表示学习框架。
• 使用局部参考坐标系和随机邻域采样来构造局部描述符以正则化表示。
• 构建分层的描述符扩展和基于图的抽象以捕捉全局结构。
• 在旋转增强的3D对象分类和分割基准上展示最先进的性能。

提出的方法

• 通过将锚定区域投影到来自局部邻域的局部参考坐标系来构造局部旋转不变描述符。
• 使用带有随机 k 和扩张 d 的随机扩张性 k-NN 搜索来采样邻居并正则化描述符。
• 通过在高等级使用较少点来扩展描述符实现分层描述符扩展以增大感受野。
• 应用带有随机 k-NN 图的图卷积网络，将局部描述符聚合成具备上下文感知的全局表征。
• 拼接多级 GCN 输出并应用最大池化用于最终的对象分类或分割。
• 通过在局部参考坐标系中操作而非全局坐标来保持旋转不变性。

实验结果

研究问题

• RQ1 是否可以在不进行显式旋转数据增强的情况下学习3D点云的旋转不变特征？
• RQ2 带有随机图采样的局部到全局表示层次结构是否能提高旋转鲁棒性和准确性？
• RQ3 使用基于局部参考坐标系的描述符与全局坐标方法在旋转和噪声下的对比？
• RQ4 分层级别和随机扩张对分类和分割性能有何影响？

主要发现

• RI-GCN 在旋转增强基准的3D对象分类和分割任务上达到最先进的准确率。
• 随机学习（d、k 和 hat{k}）在 z/SO(3) 鲁棒性方面始终优于确定性变体。
• 基于 GCN 的聚合在保持局部上下文和提升对旋转鲁棒性方面优于基于 MLP 的替代方案。
• 基于局部变换的描述符（逐点的 LRF）在旋转鲁棒性测试中优于全局旋转方法。
• 增加层级数量在三层时性能提升显著，超过该层数的收益递减。
• RI-GCN 对高斯噪声和离群点表现出强健性，并能够很好地泛化到旋转输入。