[论文解读] PointAttN: You Only Need Attention for Point Cloud Completion

Jun Wang, Ying Cui+4 more|arXiv (Cornell University)|Mar 16, 2022

3D Shape Modeling and Analysis被引用 16

一句话总结

PointAttN 提出了一种新颖的点云补全框架，用交叉注意力和自注意力机制替代基于 kNN 的局部特征学习，实现了局部几何细节与长程结构上下文的端到端学习。该方法通过消除对密度敏感的邻域划分并利用注意力机制，实现了精确、细致的形状重建，在 Completion3D 和 PCN 基准上达到了最先进性能。

ABSTRACT

Point cloud completion referring to completing 3D shapes from partial 3D point clouds is a fundamental problem for 3D point cloud analysis tasks. Benefiting from the development of deep neural networks, researches on point cloud completion have made great progress in recent years. However, the explicit local region partition like kNNs involved in existing methods makes them sensitive to the density distribution of point clouds. Moreover, it serves limited receptive fields that prevent capturing features from long-range context information. To solve the problems, we leverage the cross-attention and self-attention mechanisms to design novel neural network for processing point cloud in a per-point manner to eliminate kNNs. Two essential blocks Geometric Details Perception (GDP) and Self-Feature Augment (SFA) are proposed to establish the short-range and long-range structural relationships directly among points in a simple yet effective way via attention mechanism. Then based on GDP and SFA, we construct a new framework with popular encoder-decoder architecture for point cloud completion. The proposed framework, namely PointAttN, is simple, neat and effective, which can precisely capture the structural information of 3D shapes and predict complete point clouds with highly detailed geometries. Experimental results demonstrate that our PointAttN outperforms state-of-the-art methods by a large margin on popular benchmarks like Completion3D and PCN. Code is available at: https://github.com/ohhhyeahhh/PointAttN

研究动机与目标

• 解决现有点云补全过程对点密度变化的敏感性问题，该问题源于固定的基于 kNN 的局部邻域划分。
• 克服基于 kNN 的方法感受野有限的问题，后者阻碍了对 3D 形状中长程上下文的捕捉。
• 设计一种简单、高效且端到端的框架，仅依赖多层感知机（MLP）和注意力机制，避免显式局部区域划分。
• 通过隐式的、注意力驱动的特征学习，提升重建点云中几何细节恢复与结构一致性。
• 证明注意力机制本身即可超越依赖显式局部几何建模的方法，即使在架构更简单的情况下也能实现更优性能。

提出的方法

• 引入几何细节感知（GDP）模块，通过原始点特征与下采样点特征之间的交叉注意力，隐式捕捉局部几何结构，无需使用 kNN。
• 提出自特征增强（SFA）模块，应用自注意力机制以建模长程依赖关系，并在从粗到细的阶段中逐步优化点云几何结构。
• 构建一个轻量级编码器-解码器框架，仅使用最远点采样（FPS）、多层感知机（MLP）和注意力层，不依赖 kNN 或图神经网络操作。
• 在特征提取器中使用 GDP 模块，以自适应方式学习与点密度无关的局部特征，提升对稀疏或分布不均点云的鲁棒性。
• 在编码器和解码器中均应用 SFA 模块，以增强全局形状感知能力，并实现对结构细节的渐进式优化。
• 设计从粗到细的生成流程：特征提取器 → 种子生成器 → 点生成器，全部由注意力机制驱动。

实验结果

研究问题

• RQ1 注意力机制是否足以替代基于 kNN 的局部特征学习，同时保持或提升性能？
• RQ2 自注意力与交叉注意力在无需显式邻域划分的情况下，能在多大程度上同时捕捉局部几何细节与长程结构上下文？
• RQ3 所提出的纯注意力框架与依赖 kNN 或图卷积层的最先进方法相比表现如何？
• RQ4 GDP 与 SFA 模块对模型整体性能的独立贡献分别是什么？
• RQ5 所提出的特征提取器是否可作为其他点云补全或 3D 分析任务中的主干网络有效复用？

主要发现

• PointAttN 在 Completion3D 基准上实现了 6.63 的平均切比雪夫距离（CD），相比之前最先进方法 SA-Net（11.22 CD）降低了 35.6%。
• 消融实验表明，移除 GDP 模块会使平均 CD 从 6.63 上升至 7.42，相对增加 10.6%，证明其在局部细节感知中的关键作用。
• 移除 SFA 模块会使平均 CD 上升至 6.81，表明 SFA 在捕捉全局上下文和提升特征表示方面具有重要意义。
• 将 FoldingNet 的主干网络替换为所提出的特征提取器后，平均 CD 降低了 56.6%（从 19.07 降至 8.28），证明其卓越的特征提取能力。
• FE+SG+SPD 变体实现 7.31 的平均 CD，比 SnowflakeNet（7.60）低 3.8%，证实了所提特征提取器与种子生成器的有效性。
• PN+SG+PG 变体将特征提取器替换为 PointNet++ 后，相比 SA-Net 平均 CD 降低了 35.6%，验证了从粗到细解码设计的优越性。