[论文解读] Point Mamba: A Novel Point Cloud Backbone Based on State Space Model with Octree-Based Ordering Strategy

Jiuming Liu, Ruiji Yu+5 more|arXiv (Cornell University)|Mar 11, 2024

Remote Sensing and LiDAR Applications被引用 7

一句话总结

Point Mamba 引入基于状态空间模型的点云骨架，使用受八叉树启发的 z-order 顺序来强加因果性，在与变压器相比时以线性复杂度获得近似 SOTA 的结果。

ABSTRACT

Recently, state space model (SSM) has gained great attention due to its promising performance, linear complexity, and long sequence modeling ability in both language and image domains. However, it is non-trivial to extend SSM to the point cloud field, because of the causality requirement of SSM and the disorder and irregularity nature of point clouds. In this paper, we propose a novel SSM-based point cloud processing backbone, named Point Mamba, with a causality-aware ordering mechanism. To construct the causal dependency relationship, we design an octree-based ordering strategy on raw irregular points, globally sorting points in a z-order sequence and also retaining their spatial proximity. Our method achieves state-of-the-art performance compared with transformer-based counterparts, with 93.4% accuracy and 75.7 mIOU respectively on the ModelNet40 classification dataset and ScanNet semantic segmentation dataset. Furthermore, our Point Mamba has linear complexity, which is more efficient than transformer-based methods. Our method demonstrates the great potential that SSM can serve as a generic backbone in point cloud understanding. Codes are released at https://github.com/IRMVLab/Point-Mamba.

研究动机与目标

• 推动将状态空间模型（SSM）骨架应用于无序、非规则的点云。
• 开发一种具因果性感知的排序机制，使 SSM 能适用于点云。
• 设计具双向选择性扫描的 Point Mamba 模块，用于捕捉分层特征。
• 在 ModelNet40 和 ScanNet 上展示与基于变压器的骨架相当的准确性和效率。

提出的方法

• 引入基于八叉树的排序，在保持空间邻近性的同时沿三维 z-order 曲线对点进行排序。
• 离散化并参数化 SSM，以为序列状点数据获得全局的线性复杂度骨架。
• 构建具双向选择性扫描的 Point Mamba 模块，以在尽量低的复杂度下捕获长程依赖。
• 在分层架构中对点特征进行嵌入，包含下采样和一个轻量级 FPN 以用于下游任务。
• 与基于变压器的骨架进行比较，并分析参数、FLOPs、内存和速度。

实验结果

研究问题

• RQ1 在施加因果一致的排序后，SSM 骨架是否能够有效建模点云的全局依赖？
• RQ2 基于八叉树的 z-order 排序在实现对 SSM 点云的因果依赖的同时，是否保持了空间邻近性？
• RQ3 Point Mamba 在 ModelNet40 和 ScanNet 上在准确性和效率方面与基于变压器的骨架相比如何？
• RQ4 相对于 OctFormer 和 PCT，Point Mamba 的内存、参数和计算权衡是什么？

主要发现

• Point Mamba (C) 在 ModelNet40 上达到 93.4% 的准确率，超过基线 PCT (93.2%)。
• Point Mamba (O) 在 ModelNet40 上达到 92.7% 的准确率，与 OctFormer (92.7%) 不相上下。
• 在 ScanNet 语义分割中，Point Mamba 在无投票时达到 74.6% mIoU，投票后达到 75.7%（与 OctFormer 竞争）。
• Point Mamba 具有线性复杂度，分类任务参数约 3.08M，分割任务 31.99M，两个任务均少于 OctFormer。
• Point Mamba 展示了更低的 GPU 内存增长（随序列长度线性）以及更快的前向速度（例如，Point Mamba-small 带投票时为 90 ms）。
• Point Mamba 相较于 OctFormer 在参数量上下降超过 25%，同时保持竞争性能。