[论文解读] PAI-Conv: Permutable Anisotropic Convolutional Networks for Learning on Point Clouds

Zhongpai Gao, Guangtao Zhai+2 more|arXiv (Cornell University)|May 27, 2020

3D Shape Modeling and Analysis参考文献 36被引用 3

一句话总结

PAI-Conv 在点云上引入了一种可置换的各向异性卷积操作，通过点积注意力机制从球面上的核点学习软置换矩阵，实现共享的各向异性滤波。它通过结合注意力的归纳偏置与高效的随机采样策略，在点云分类和语义分割任务中实现了最先进性能。

ABSTRACT

It has witnessed a growing demand for efficient representation learning on point clouds in many 3D computer vision applications. Behind the success story of convolutional neural networks (CNNs) is that the data (e.g., images) are Euclidean structured. However, point clouds are irregular and unordered. Various point neural networks have been developed with isotropic filters or using weighting matrices to overcome the structure inconsistency on point clouds. However, isotropic filters or weighting matrices limit the representation power. In this paper, we propose a permutable anisotropic convolutional operation (PAI-Conv) that calculates soft-permutation matrices for each point using dot-product attention according to a set of evenly distributed kernel points on a sphere's surface and performs shared anisotropic filters. In fact, dot product with kernel points is by analogy with the dot-product with keys in Transformer as widely used in natural language processing (NLP). From this perspective, PAI-Conv can be regarded as the transformer for point clouds, which is physically meaningful and is robust to cooperate with the efficient random point sampling method. Comprehensive experiments on point clouds demonstrate that PAI-Conv produces competitive results in classification and semantic segmentation tasks compared to state-of-the-art methods.

研究动机与目标

• 解决在缺乏标准卷积神经网络所假设的欧几里得结构的不规则且无序点云上学习有效表征的挑战。
• 克服现有点神经网络中各向同性滤波器和固定加权矩阵的局限性，这些局限性限制了表征能力。
• 提出一种具有物理意义且可微的机制，通过核点上的注意力机制学习点云上的空间自适应卷积。
• 通过与点云处理中常用的随机点采样策略集成，实现鲁棒且高效的特征学习。
• 开发一种点云等效的 Transformer 机制，在保持归纳偏置的同时具备计算效率。

提出的方法

• 在球面表面定义一组均匀分布的核点，作为注意力机制中软置换学习的查询点。
• 通过每个点的特征与核点之间的点积注意力计算软置换矩阵，实现自适应的空间聚合。
• 对置换后的邻域特征应用共享的各向异性滤波器，使网络能够学习方向敏感的表征。
• 将注意力机制的公式化方式类比于自然语言处理中 Transformer 的键-查询机制，提供可解释性与物理合理性。
• 将 PAI-Conv 层与高效的随机点采样策略集成，以在训练和推理过程中保持计算效率。
• 使用标准反向传播进行端到端训练，其中特征投影和注意力计算的参数均可学习。

实验结果

研究问题

• RQ1 在球面上的核点上基于注意力机制是否能有效学习不规则点云上的空间自适应卷积？
• RQ2 与各向同性及固定加权卷积层相比，所提出的 PAI-Conv 操作在表征能力与泛化性能方面表现如何？
• RQ3 PAI-Conv 在多大程度上受益于并整合了点云处理中常用的随机点采样策略？
• RQ4 基于注意力的软置换机制是否为 3D 几何学习提供了有意义的归纳偏置，可与 NLP 中的 Transformer 相媲美？
• RQ5 PAI-Conv 是否能在点云分类与语义分割任务中实现最先进性能？

主要发现

• PAI-Conv 在点云分类与语义分割基准上实现了具有竞争力的性能，与或超越了最先进方法。
• 基于注意力的软置换机制使网络能够学习各向异性、方向敏感的特征，提升了不规则点云上的表征学习能力。
• 该方法与高效的随机点采样结合后表现鲁棒，在降低计算成本的同时保持高精度。
• 核点上的注意力机制提供了一种物理解释性强且可微的自适应重加权邻域点的方法，类似于 Transformer 中的自注意力机制。
• PAI-Conv 在多种不同的 3D 数据集上表现出强大的泛化能力，表明其有效性不仅限于特定架构或数据分布。
• 消融实验确认，软置换机制与各向异性滤波是性能的关键，显著优于各向同性或固定加权的基线方法。