[论文解读] PPC-MT: Parallel Point Cloud Completion with Mamba-Transformer Hybrid Architecture

Jie Li, Shengwei Tian+2 more|arXiv (Cornell University)|Mar 1, 2026

3D Shape Modeling and Analysis被引用 0

一句话总结

PPC-MT 引入了一个 PCA 指导、并行的点云完成框架，将 Mamba 编码器与 Transformer 解码器结合，实现了在 PCN、ShapeNet-55/34 和 KITTI 数据集上的最新重建质量，同时保持效率。

ABSTRACT

Existing point cloud completion methods struggle to balance high-quality reconstruction with computational efficiency. To address this, we propose PPC-MT, a novel parallel framework for point cloud completion leveraging a hybrid Mamba-Transformer architecture. Our approach introduces an innovative parallel completion strategy guided by Principal Component Analysis (PCA), which imposes a geometrically meaningful structure on unordered point clouds, transforming them into ordered sets and decomposing them into multiple subsets. These subsets are reconstructed in parallel using a multi-head reconstructor. This structured parallel synthesis paradigm significantly enhances the uniformity of point distribution and detail fidelity, while preserving computational efficiency. By integrating Mamba's linear complexity for efficient feature extraction during encoding with the Transformer's capability to model fine-grained multi-sequence relationships during decoding, PPC-MT effectively balances efficiency and reconstruction accuracy. Extensive quantitative and qualitative experiments on benchmark datasets, including PCN, ShapeNet-55/34, and KITTI, demonstrate that PPC-MT outperforms state-of-the-art methods across multiple metrics, validating the efficacy of our proposed framework.

研究动机与目标

• 在点云完成任务中平衡重建质量与计算效率的需求成为动机。
• 提出对目标点云的 PCA 指导的均匀分解，以实现并行重建。
• 引入将基于 Mamba 的编码与 Transformer 解码相结合的混合架构，以实现高效且准确的完成。
• 开发一个多头重建器，将学习分散到多个并行输出上。
• 在有监督和无监督数据集上进行全面评估，使用鲁棒的度量指标。

提出的方法

• 对 ground-truth 点云应用 PCA 进行排序并均匀分解为 U 个子点云，以实现并行监督。
• 使用轻量级的 PointNet 基特征提取器从 G 个局部组（FPS + KNN）生成初始点代理。
• 用基于 Mamba3D 的编码器对全局上下文进行编码，以获得增强的点代理，从而实现线性复杂度的特征提取。
• 通过几何感知的 Transformer 解码器对种子进行解码，建模编码器代理与种子代理之间的关系，利用自注意力和跨注意力。
• 通过一个多头重建器将预测分成 U 组，每组生成一个局部点云并将它们组合起来，从而完成最终的完整点云。
• 使用多层损失进行训练，包括用于全局分布（种子点）的 CD_g，以及用于局部/全局保真度的 CD_l/CD_g，覆盖 P0、Pi 和 Pout。

实验结果

研究问题

• RQ1 PCA 指导的排序与均匀分解是否能够在不牺牲几何保真度的前提下实现有效并行化？
• RQ2 将 Mamba 与 Transformer 结合是否比单纯的注意力模型或纯状态空间模型在三维点云完成方面具有更好的效率和准确性？
• RQ3 所提出的并行多头重建在不同数据集上的局部细节恢复和全局形状一致性有何影响？
• RQ4 这些优势是否在有监督（PCN、ShapeNet-55/34）和无监督（KITTI）基准测试中成立，包括未见类别？

主要发现

• 在 PCN 上，PPC-MT 达到最先进的 DCD 0.491、EMD 17.43、F-Score 0.860，CD-ℓ1 为 6.60，超越了包括 AdaPoinTr 在内的若干基线。
• 与 AdaPoinTr 相比，PPC-MT 的 F-Score 提升 1.5%（0.860 对比 0.845），EMD 降低 27.7%（17.43 对比 24.12），DCD 降低 8.4%（0.491 对比 0.536）。
• 在 ShapeNet-55 上，PPC-MT 在 CD-ℓ1、CD-ℓ2、DCD、EMD 和 F1 指标上表现强劲，在多种难度设置下的 F1 获得显著提升，并且在精度与召回之间保持稳健平衡。
• 在 ShapeNet-34（看见和未见类别）上，PPC-MT 在 CD-ℓ1、DCD、EMD 与 F1 的有监督与无监督类别均达到最先进的结果，显示出良好的泛化性。
• 跨数据集（PCN、ShapeNet-55/34），PPC-MT 在全球分布和局部细节保留方面持续优于以往工作，验证了 PCA 指导的并行框架与 Mamba-Transformer 混合架构的有效性。