[论文解读] PU-Transformer: Point Cloud Upsampling Transformer

Shi Qiu, Saeed Anwar+1 more|arXiv (Cornell University)|Nov 24, 2021

3D Shape Modeling and Analysis参考文献 58被引用 13

一句话总结

PU-Transformer 提出了一种基于 Transformer 的新型点云上采样模型，通过引入一种移位通道多头自注意力（SC-MSA）模块，增强点与通道之间的特征关系，并结合位置融合模块以捕捉局部几何上下文。该方法在合成数据集和真实世界基准上均达到最先进性能，在保真度和结构细节方面优于基于 CNN 的方法，同时仅使用单张 GPU 保持高效。

ABSTRACT

Given the rapid development of 3D scanners, point clouds are becoming popular in AI-driven machines. However, point cloud data is inherently sparse and irregular, causing significant difficulties for machine perception. In this work, we focus on the point cloud upsampling task that intends to generate dense high-fidelity point clouds from sparse input data. Specifically, to activate the transformer's strong capability in representing features, we develop a new variant of a multi-head self-attention structure to enhance both point-wise and channel-wise relations of the feature map. In addition, we leverage a positional fusion block to comprehensively capture the local context of point cloud data, providing more position-related information about the scattered points. As the first transformer model introduced for point cloud upsampling, we demonstrate the outstanding performance of our approach by comparing with the state-of-the-art CNN-based methods on different benchmarks quantitatively and qualitatively.

研究动机与目标

• 解决点云数据固有的稀疏性和不规则性对高级 3D 视觉任务造成的阻碍。
• 开发一种深度学习模型，从稀疏输入生成高保真度、均匀分布的密集点云。
• 利用 Transformer 的全局建模能力进行点云上采样，克服 CNN 和 MLP 的局限性。
• 设计一种高效、轻量化的 Transformer 架构，适用于计算成本极低的实际部署。
• 实现对不同输入分辨率和真实世界点云类型的灵活上采样。

提出的方法

• 提出一种移位通道多头自注意力（SC-MSA）模块，通过重叠的头通道增强点与通道之间的特征依赖关系。
• 采用位置融合模块编码局部几何与特征上下文，替代标准位置编码，以提升 3D 点云表示能力。
• 使用五层堆叠的 Transformer 编码器（L=5）作为核心主干，逐步优化特征表示。
• 应用简单且可学习的头尾模块，用于特征投影并生成上采样后的点坐标。
• 采用基于图像块的推理流水线，实现不同尺度（如 4×、16×）的灵活上采样。
• 采用标准 L1 损失端到端训练，完成从稀疏到密集点云的重建任务，用于坐标预测。

实验结果

研究问题

• RQ1 基于 Transformer 的架构是否能通过更好地建模长距离依赖关系和特征交互，在点云上采样任务中超越基于 CNN 的方法？
• RQ2 所提出的 SC-MSA 模块在捕捉稀疏点云中点与通道之间关系方面的有效性如何？
• RQ3 与标准位置嵌入相比，位置融合模块在局部上下文编码方面提升了多少？
• RQ4 轻量化 Transformer 模型是否能在计算成本极低的前提下实现具有竞争力的性能，并支持单 GPU 训练？
• RQ5 PU-Transformer 在不同输入尺寸和真实世界点云分布下的鲁棒性如何？

主要发现

• PU-Transformer 在合成与真实世界点云上采样基准上均达到最先进性能，优于基于 CNN 的方法（如 PU-GAN、PU-GCN 和 Dis-PU）的定量指标。
• 在 ShapeNet 数据集上，PU-Transformer 在 4× 上采样下实现 0.00044 的 Chamfer 距离（CD），显著优于先前方法。
• 定性结果表明，该模型在结构保真度和分布均匀性方面表现更优，尤其在保留‘熊猫’和‘椅子’等物体的边缘与轮廓等细节方面表现突出。
• 该模型在不同输入尺寸（256 至 2048 个点）下均保持高性能，即使从低分辨率输入也能生成密集且高质量的输出。
• 该模型具有高效性，仅使用单张 GPU 在数小时内完成训练，参数量仅约 0.97M，适用于实际部署。
• 可视化结果证实，位置融合模块增强了局部上下文建模，使 ScanObjectNN 和 SemanticKITTI 的真实扫描数据上采样结果更准确、更均匀。