[论文解读] Transformers in 3D Point Clouds: A Survey

Dening Lu, Qian Xie+4 more|arXiv (Cornell University)|May 16, 2022

Advanced Neural Network Applications被引用 31

一句话总结

基于 Transformer 的方法在三维点云领域的综合综述，详细介绍实现、数据表示、任务、自注意力变体，以及在分类、分割和检测等任务上的性能比较。

ABSTRACT

Transformers have been at the heart of the Natural Language Processing (NLP) and Computer Vision (CV) revolutions. The significant success in NLP and CV inspired exploring the use of Transformers in point cloud processing. However, how do Transformers cope with the irregularity and unordered nature of point clouds? How suitable are Transformers for different 3D representations (e.g., point- or voxel-based)? How competent are Transformers for various 3D processing tasks? As of now, there is still no systematic survey of the research on these issues. For the first time, we provided a comprehensive overview of increasingly popular Transformers for 3D point cloud analysis. We start by introducing the theory of the Transformer architecture and reviewing its applications in 2D/3D fields. Then, we present three different taxonomies (i.e., implementation-, data representation-, and task-based), which can classify current Transformer-based methods from multiple perspectives. Furthermore, we present the results of an investigation of the variants and improvements of the self-attention mechanism in 3D. To demonstrate the superiority of Transformers in point cloud analysis, we present comprehensive comparisons of various Transformer-based methods for classification, segmentation, and object detection. Finally, we suggest three potential research directions, providing benefit references for the development of 3D Transformers.

研究动机与目标

• 调查 Transformer 架构在三维点云处理中的理论与应用。
• 提出三种分类法（实现、数据表示、任务）来对 Transformer 基于 3D 的方法进行分类。
• 研究用于三维点云的自注意力变体并评估它们对性能与效率的影响。
• 在公开基准上比较 Transformer 基于的方法在三维视觉任务（如分类、分割、检测）上的表现。

提出的方法

• 引入标准 Transformer 组件并将其适配到三维点云，包括输入嵌入、位置编码、自注意力、归一化、FFN 与跳跃连接。
• 将方法分为 Global vs. Local Transformers 与 Point-wise vs. Channel-wise operating spaces。
• 评述高效 Transformer 变体（如 Centroid Transformer、PatchFormer、LighTN、GSA）以降低计算量和内存占用。
• 描述基于体素和基于点的数据表示及各自的 Transformer 架构（uniform-scale vs. multi-scale）。
• 分析自注意力变体（如向量注意力、Channel-wise Affinity Attention）及其在三维处理中的作用。
• 提供跨任务对比（分类、分割、检测）在公开基准上的效果，以说明有效性。

实验结果

研究问题

• RQ1 变换器架构如何处理不规则、无序的三维点云？
• RQ2 对于不同的三维表示形式（基于点 vs 基于体素）和尺度（全局 vs 局部），哪些 Transformer 形式最适合用于不同任务？
• RQ3 为三维点云提出了哪些自注意力变体，它们如何影响准确性与效率？
• RQ4 在公开基准上，基于 Transformer 的方法在分类、分割、检测等三维视觉任务上的比较如何？

主要发现

• Transformers 本质上非常适合点云，因为它们能够进行全局特征学习并具有置换等变性。
• 三种分类法使对三维 Transformers 的多视角分类成为可能（实现、数据表示、任务）。
• 局部与全局 Transformer 设计并存，局部方法强调高效的邻域处理，全球方法使得长程依赖成为可能。
• 自注意力变体（如向量注意力、通道注意力）通过捕获通道和空间关系来提升性能。
• 高效 Transformers（质心、局部邻域、稀疏注意力）在保持性能的同时显著降低计算量与内存占用。
• 基于体素和基于点的表示各有权衡，多尺度点基 Transformer 常用于分割与完成。