[论文解读] Stratified Transformer for 3D Point Cloud Segmentation

Xin Lai, Jianhui Liu+6 more|arXiv (Cornell University)|Mar 28, 2022

3D Shape Modeling and Analysis被引用 9

一句话总结

本文提出了一种名为分层Transformer（Stratified Transformer）的新颖3D点云分割框架，通过在采样远距离点作为键的同时保留邻近点，实现对长距离上下文的建模，从而在计算成本极低的情况下实现大有效感受野。该方法通过整合第一层点嵌入、上下文相对位置编码以及内存高效的实现方式，在S3DIS、ScanNetv2和ShapeNetPart数据集上取得了最先进性能。

ABSTRACT

3D point cloud segmentation has made tremendous progress in recent years. Most current methods focus on aggregating local features, but fail to directly model long-range dependencies. In this paper, we propose Stratified Transformer that is able to capture long-range contexts and demonstrates strong generalization ability and high performance. Specifically, we first put forward a novel key sampling strategy. For each query point, we sample nearby points densely and distant points sparsely as its keys in a stratified way, which enables the model to enlarge the effective receptive field and enjoy long-range contexts at a low computational cost. Also, to combat the challenges posed by irregular point arrangements, we propose first-layer point embedding to aggregate local information, which facilitates convergence and boosts performance. Besides, we adopt contextual relative position encoding to adaptively capture position information. Finally, a memory-efficient implementation is introduced to overcome the issue of varying point numbers in each window. Extensive experiments demonstrate the effectiveness and superiority of our method on S3DIS, ScanNetv2 and ShapeNetPart datasets. Code is available at https://github.com/dvlab-research/Stratified-Transformer.

研究动机与目标

• 解决现有3D点云分割方法因依赖局部特征聚合而导致在建模长距离依赖关系方面受限的问题。
• 在不牺牲计算效率或位置精度的前提下，实现在3D Transformer中的高效长距离注意力机制。
• 设计一种针对不规则3D点云数据（点数可变）的鲁棒且可泛化的Transformer架构。
• 克服3D点云处理中不规则空间排列和窗口尺寸变化带来的挑战。

提出的方法

• 提出一种分层键采样策略：对于每个查询点，密集采样邻近点，稀疏采样远距离点作为键，以扩展有效感受野。
• 采用第一层点嵌入以聚合局部特征，提升训练过程中的收敛速度与性能表现。
• 应用上下文相对位置编码（cRPE），通过结合空间坐标与语义特征，动态建模位置偏差。
• 采用内存高效实现方式，降低点数较少窗口中的内存消耗，适应点数可变的场景。
• 采用移位窗口策略以增强跨窗口信息流动，提升特征表示能力。
• 在标准多头自注意力机制中引入改进的键采样方式，以保持位置完整性的同时支持长距离建模。

实验结果

研究问题

• RQ1 能否在计算开销较低的前提下，有效建模3D点云分割中的长距离依赖关系？
• RQ2 在基于Transformer的3D分割框架中，如何有效处理不规则的点排列？
• RQ3 标准多头自注意力机制能否被适配于3D点云，实现强泛化能力与高性能表现？
• RQ4 上下文相对位置编码在提升3D Transformer性能方面起到何种作用？
• RQ5 与传统的局部或全局注意力机制相比，所提出的分层键采样策略在效率与准确性方面表现如何？

主要发现

• 在S3DIS数据集中，分层Transformer实现了72.0%的mIoU，优于以往方法。
• 在ScanNetv2数据集中，模型达到72.0%的mIoU，展现出在多样化真实场景中的强大泛化能力。
• 在ShapeNetPart数据集中，该方法实现了89.2%的mIoU，表明其在部件级分割任务中表现优异。
• 消融实验证实，当在查询、键和值特征中均应用cRPE时性能最佳，使用全部数据增强后mIoU提升5.9%。
• 该模型表现出极强的鲁棒性，在旋转、缩放和抖动等多种扰动下仍保持高性能，尤其在90° z轴旋转下mIoU仍达72.02%。
• 内存高效实现显著降低了内存消耗，尤其在点数较少的窗口中效果明显，且未影响性能表现。