[论文解读] Spatial-Temporal Transformer for 3D Point Cloud Sequences

Yimin Wei, Hao Liu+3 more|arXiv (Cornell University)|Oct 19, 2021

3D Shape Modeling and Analysis参考文献 40被引用 4

一句话总结

本文提出PST²，一种用于3D点云序列的时空Transformer模型，结合了时空自注意力（STSA）模块以建模帧间上下文，并引入分辨率嵌入（RE）模块以恢复特征抽象过程中损失的空间分辨率。PST²在4D语义分割和3D动作识别任务上达到最先进性能，在SemanticKITTI数据集上mIoU最高提升3.2%，在MSR-Action3D数据集上准确率提升5.39%。

ABSTRACT

Effective learning of spatial-temporal information within a point cloud sequence is highly important for many down-stream tasks such as 4D semantic segmentation and 3D action recognition. In this paper, we propose a novel framework named Point Spatial-Temporal Transformer (PST2) to learn spatial-temporal representations from dynamic 3D point cloud sequences. Our PST2 consists of two major modules: a Spatio-Temporal Self-Attention (STSA) module and a Resolution Embedding (RE) module. Our STSA module is introduced to capture the spatial-temporal context information across adjacent frames, while the RE module is proposed to aggregate features across neighbors to enhance the resolution of feature maps. We test the effectiveness our PST2 with two different tasks on point cloud sequences, i.e., 4D semantic segmentation and 3D action recognition. Extensive experiments on three benchmarks show that our PST2 outperforms existing methods on all datasets. The effectiveness of our STSA and RE modules have also been justified with ablation experiments.

研究动机与目标

• 解决在稀疏、无序的3D点云序列中建模时空动态的挑战，以支持4D语义分割和3D动作识别等任务。
• 克服现有帧间特征融合方法中依赖循环网络或全部历史帧注意力机制所导致的信息冗余问题。
• 通过邻域特征聚合增强特征图分辨率，减少编码器-解码器架构中的分辨率损失。
• 设计一种即插即用模块，在不改变现有静态点云网络架构的前提下提升性能。

提出的方法

• 提出一种时空自注意力（STSA）模块，通过自注意力机制自适应地融合相邻帧的特征，相比RNN或全历史注意力机制，显著减少冗余。
• 设计一种分辨率嵌入（RE）模块，通过学习的注意力权重聚合邻域特征，实现对特征分辨率的增强。
• 将STSA与RE模块整合到两阶段框架中：首先通过设置抽象（set abstraction）进行特征提取，随后进行时空块构建与STSA处理以实现上下文建模。
• 将STSA模块应用于MeteorNet以实现点云框架中的时序建模。
• 在STSA中引入残差连接与层归一化，以提升训练稳定性和鲁棒性。
• 利用逐点MLP与最远点采样（FPS）进行初始特征提取与种子点选择。

实验结果

研究问题

• RQ1 自注意力机制是否能有效建模动态3D点云序列中的时空上下文，同时减少来自历史帧融合的冗余？
• RQ2 通过邻域特征聚合实现的分辨率恢复，在点云序列分割任务中能多大程度上提升精度？
• RQ3 所提出的PST²框架在4D语义分割与3D动作识别基准上的表现，相较于最先进方法如何？
• RQ4 通过消融实验验证，STSA与RE模块对整体性能的独立贡献分别是什么？

主要发现

• 在SemanticKITTI数据集上，PST²相较PointNet++（PNv2）实现16.4%的mIoU提升，展现出显著的性能增益。
• 在SemanticKITTI上，PST²比最先进方法ASAP-Net高出3.2% mIoU，并在19个类别中的15个类别上表现更优。
• 分辨率嵌入（RE）模块在SemanticKITTI上带来4.1%的mIoU增益，其中地形类别的提升最高达38.9%。
• STSA模块相较PNv2提升12.3% mIoU，地形类别最高提升36.5%，车辆类别最高提升29.7%。
• 在MSR-Action3D上，PST²在使用8帧输入时实现5.39%的准确率提升，使用16帧时达到89.22%的mAcc，优于MeteorNet。
• 消融实验表明，STSA与RE模块在所有类别中均独立提升性能，尤其在复杂或稀疏类别（如地形与摩托车手）中增益最大。