[论文解读] Spatial Transformer for 3D Points.

Jiayun Wang, Rudrasis Chakraborty+1 more|arXiv (Cornell University)|Jun 26, 2019

3D Shape Modeling and Analysis参考文献 27被引用 7

一句话总结

该论文提出了一种用于3D点云的时空变换器模块，可在每个网络层学习非刚性变换——包括仿射变换和非线性变换（投影/可变形）——以自适应地重新配置局部邻域。通过学习动态的点坐标变换，该方法提升了特征学习能力，并在3D点云分类、分割和检测任务中实现了最先进性能。

ABSTRACT

Point cloud is an efficient representation of 3D data, and enables deep neural networks to effectively understand and model the 3D visual world. Previous point cloud processing networks utilized the same original 3D point coordinates at different layers to define local neighborhoods. The networks then learn the feature maps from local patches. It is easy to implement but not necessarily optimal. Ideally local neighborhood should be different at different layers so as to adapt to the specific layer for efficient feature learning. One way to achieve this is to learn transformations of the original point cloud at each layer, and then learn the feature maps from the ``local patches'' on the transformed coordinates. In this work, we propose a novel approach to learn non-rigid transformation of input point clouds at each layer. We propose both linear (affine) and non-linear (projective, deformable) spatial transformer on 3D point cloud. The proposed method outperforms the state-of-the-art static point neighborhood counterparts in several point cloud processing tasks (classification, segmentation and detection).

研究动机与目标

• 解决3D点云网络中固定、静态局部邻域带来的局限性，该局限性会阻碍最优特征学习。
• 通过动态变换输入点坐标，使深度网络能够学习自适应的、层特定的局部感受野。
• 通过学习的空间变换提升3D视觉任务（如分类、分割和检测）的性能。
• 引入适用于3D点云的线性（仿射）和非线性（投影、可变形）变换模块。
• 证明所学习的空间变换在3D点云处理中优于静态邻域定义。

提出的方法

• 提出一种空间变换器模块，可在每个网络层为每个点或局部区域在3D空间中学习一个变换矩阵。
• 对输入点坐标应用可微分的空间变换，从而实现变换网络的端到端训练。
• 引入仿射和非线性（投影和可变形）变换组件，以建模复杂的空变形。
• 利用变换后的坐标定义动态局部邻域，随后通过标准的3D卷积或注意力机制提取特征。
• 采用可微分的采样与特征聚合机制，确保梯度能够通过变换模块流动。
• 将空间变换器作为可学习模块集成到3D深度学习架构中，取代固定的邻域定义。

实验结果

研究问题

• RQ1 与固定局部邻域相比，学习动态的、层特定的空间变换是否能提升3D点云的特征学习？
• RQ2 在3D点云任务中，仿射变换与非线性变换（投影/可变形）的性能表现如何比较？
• RQ3 所提出的时空变换器模块是否能在多种3D感知任务（如分类、分割和检测）中实现泛化？
• RQ4 局部邻域的自适应重配置在多大程度上提升了模型在标准基准上的性能？
• RQ5 时空变换器能否在保持可微性和计算效率的同时实现有效的端到端训练？

主要发现

• 所提出的时空变换器在3D点云分类、分割和检测任务中均优于依赖静态局部邻域的最先进方法。
• 使用非线性变换（投影和可变形）相比仿射变换和静态基线方法带来了显著的性能提升。
• 通过坐标变换学习层特定的自适应局部邻域，模型实现了更优的特征表示。
• 该方法在多个3D视觉基准上均表现出一致的性能增益，表明其具备强大的泛化能力。
• 时空变换器的可微性使得端到端训练能够实现稳定梯度和高效优化。