[论文解读] PoinTramba: A Hybrid Transformer-Mamba Framework for Point Cloud Analysis

Zicheng Wang, Zhenghao Chen+4 more|arXiv (Cornell University)|May 24, 2024

3D Surveying and Cultural Heritage被引用 7

一句话总结

PoinTramba 将基于 Transformer 的组内特征建模与基于 Mamba 的组间处理相结合，并辅以双向重要性感知排序策略和重要性感知池化，在点云分类与分割任务中实现线性时间的组间计算，达到最先进或具有竞争力的效果。

ABSTRACT

Point cloud analysis has seen substantial advancements due to deep learning, although previous Transformer-based methods excel at modeling long-range dependencies on this task, their computational demands are substantial. Conversely, the Mamba offers greater efficiency but shows limited potential compared with Transformer-based methods. In this study, we introduce PoinTramba, a pioneering hybrid framework that synergies the analytical power of Transformer with the remarkable computational efficiency of Mamba for enhanced point cloud analysis. Specifically, our approach first segments point clouds into groups, where the Transformer meticulously captures intricate intra-group dependencies and produces group embeddings, whose inter-group relationships will be simultaneously and adeptly captured by efficient Mamba architecture, ensuring comprehensive analysis. Unlike previous Mamba approaches, we introduce a bi-directional importance-aware ordering (BIO) strategy to tackle the challenges of random ordering effects. This innovative strategy intelligently reorders group embeddings based on their calculated importance scores, significantly enhancing Mamba's performance and optimizing the overall analytical process. Our framework achieves a superior balance between computational efficiency and analytical performance by seamlessly integrating these advanced techniques, marking a substantial leap forward in point cloud analysis. Extensive experiments on datasets such as ScanObjectNN, ModelNet40, and ShapeNetPart demonstrate the effectiveness of our approach, establishing a new state-of-the-art analysis benchmark on point cloud recognition. For the first time, this paradigm leverages the combined strengths of both Transformer and Mamba architectures, facilitating a new standard in the field. The code is available at https://github.com/xiaoyao3302/PoinTramba.

研究动机与目标

• 通过在 Transformer 的准确性与 Mamba 的效率之间取得平衡，激励高效的点云分析。
• 提出一个混合架构，分别处理组内与组间依赖。
• 引入双向重要性感知排序（BIO）策略，以减轻 Mamba 在随机顺序下的影响。
• 开发一个重要性感知的池化机制，以形成鲁棒的全局点云特征。
• 在分类和分割基准（ScanObjectNN、ModelNet40、ShapeNetPart）上证明其有效性。

提出的方法

• 将点云分割为 G 组，并使用 Transformer 编码器提取组内嵌入。
• 将组嵌入输入组间 Mamba 编码器，以线性复杂度捕获全局组间依赖。
• 在 Mamba 处理前应用双向重要性感知排序（BIO）对组嵌入进行重新排序。
• 预测组嵌入的重要性分数以引导重新排序，并进行重要性感知池化以形成全局特征。
• 端到端训练，包含任务损失、重要性损失和对齐损失等多项损失。

实验结果

研究问题

• RQ1 一个混合 Transformer-Mamba 架构是否能够在保持效率的同时，在分类和分割上超过单一架构的点云模型？
• RQ2 双向重要性感知排序（BIO）是否提升了 Mamba 对无序点云的处理？
• RQ3 重要性感知池化是否能够有效利用重新排序后的组嵌来生成鲁棒的全局特征？
• RQ4 各组件（Transformer、Mamba、BIO、对齐、IAP）对整体性能的贡献是什么？

主要发现

• PoinTramba 在 ScanObjectNN（PB-T50-RS 变体：92.3 ± 0.4；无旋转的 Ours：92.3 ± 0.2；PB-T50-RS 变体中为 88.9–89.1）的准确性达到竞争性或优越于最先进方法的水平。
• 在 ModelNet40 上，PoinTramba 采用混合骨干网络达到 92.7%（±0.1），与近期的 Transformer/Mamba 方法具有竞争力甚至超越。
• 在 ShapeNetPart 上，PoinTramba 的实例 mIoU 为 85.7%（±0.1），与之前的 SOTA 方法相当。
• 消融实验表明，组间 Mamba 单独相比 PointNet 提升了 8.2% 的准确率；加入组内 Transformer 增加 0.4%；BIO 增加 2.1%；IAP 增加 0.5%。
• 对齐损失与 BIO 互作进一步提升性能（对齐：Mamba 提升 1.4%、PoinTramba 提升 1.7%）。
• BIO 排序优于单向或随机排序策略，且 IAP 优于平均/最大池化。