[论文解读] P-STMO: Pre-Trained Spatial Temporal Many-to-One Model for 3D Human Pose Estimation

Wenkang Shan, Zhenhua Liu+4 more|arXiv (Cornell University)|Mar 15, 2022

Human Pose and Action Recognition被引用 6

一句话总结

本文提出 P-STMO，一种用于 2D 到 3D 人体姿态估计的预训练时空多对一模型，采用两阶段框架：首先通过自监督掩码姿态建模预训练来捕捉时空依赖性，随后通过多对一帧聚合器进行微调。该方法仅使用 CPN 输出的 2D 姿态，在 Human3.6M 数据集上实现了 42.1mm 的 MPJPE，达到最先进性能，同时相比先前方法将计算成本降低了 1.5–7.1 倍。

ABSTRACT

This paper introduces a novel Pre-trained Spatial Temporal Many-to-One (P-STMO) model for 2D-to-3D human pose estimation task. To reduce the difficulty of capturing spatial and temporal information, we divide this task into two stages: pre-training (Stage I) and fine-tuning (Stage II). In Stage I, a self-supervised pre-training sub-task, termed masked pose modeling, is proposed. The human joints in the input sequence are randomly masked in both spatial and temporal domains. A general form of denoising auto-encoder is exploited to recover the original 2D poses and the encoder is capable of capturing spatial and temporal dependencies in this way. In Stage II, the pre-trained encoder is loaded to STMO model and fine-tuned. The encoder is followed by a many-to-one frame aggregator to predict the 3D pose in the current frame. Especially, an MLP block is utilized as the spatial feature extractor in STMO, which yields better performance than other methods. In addition, a temporal downsampling strategy is proposed to diminish data redundancy. Extensive experiments on two benchmarks show that our method outperforms state-of-the-art methods with fewer parameters and less computational overhead. For example, our P-STMO model achieves 42.1mm MPJPE on Human3.6M dataset when using 2D poses from CPN as inputs. Meanwhile, it brings a 1.5-7.1 times speedup to state-of-the-art methods. Code is available at https://github.com/paTRICK-swk/P-STMO.

研究动机与目标

• 为解决由于深度模糊性导致的 2D 到 3D 人体姿态估计问题的病态性质，以及在单阶段训练设置下学习时空依赖性的困难。
• 通过引入两阶段训练范式（预训练后微调）来降低优化难度并提升泛化能力。
• 借鉴自然语言处理与计算机视觉的成功经验，利用自监督预训练来学习 2D 姿态序列的鲁棒表征，再进行 3D 回归。
• 通过引入时间下采样策略和基于 MLP 的空间编码器，提升效率与性能，减少冗余和计算开销。
• 在噪声输入和未见相机视角下验证预训练策略的鲁棒性与泛化能力。

提出的方法

• 提出两阶段框架：第一阶段执行自监督掩码姿态建模（MPM）预训练，对空间和时间域中的随机帧与关节点进行掩码。
• MPM 任务采用去噪自编码器目标，以重建原始 2D 姿态序列，使编码器能够学习内在的时空依赖性。
• 在第二阶段，将预训练的编码器微调至 STMO 架构中，该架构包含空间编码模块（SEM）、时间编码模块（TEM）和多对一帧聚合器（MOFA）。
• SEM 使用 MLP 块作为空间特征提取器，在此场景下优于全连接层和 Transformer，同时保持适中的计算成本。
• 应用时间下采样策略（TDS），在不增加模型复杂度的前提下减少数据冗余并扩展时间感受野。
• MOFA 模块采用基于 Transformer 的架构（STE），聚合多帧特征并预测当前帧的 3D 姿态，多头注意力图的可视化证实了其功能专业化。

实验结果

研究问题

• RQ1 在掩码 2D 姿态序列上进行自监督预训练是否能提升 3D 人体姿态估计模型的性能与泛化能力？
• RQ2 两阶段训练策略（预训练后微调）是否能降低优化难度并提升 2D 到 3D 姿态估计的收敛性？
• RQ3 基于 MLP 的空间编码器是否能在捕捉 2D 姿态序列的帧内空间关系方面优于全连接层或 Transformer？
• RQ4 所提出的时序下采样策略在减少冗余的同时，是否能有效保留长程时间依赖性？
• RQ5 预训练在多大程度上增强了对噪声 2D 关键点输入和领域偏移（如未见相机视角）的鲁棒性？

主要发现

• 当使用 CPN 输出的 2D 姿态时，P-STMO 在 Human3.6M 数据集上实现了 42.1mm 的 MPJPE，优于最先进方法，且参数更少、计算开销更低。
• 与先前最先进方法相比，该方法实现了 1.5–7.1 倍的速度提升，展现出显著的效率优势。
• 预训练提升了鲁棒性：在高斯噪声（σ = 0.05）下，P-STMO 相较于非预训练基线将 MPJPE 降低了 2.0%。
• 模型在未见相机视角下泛化良好：当在相机 0、1、2 上预训练并在相机 3 上测试时，达到 44.4mm MPJPE，优于非预训练变体（45.2mm）。
• 注意力可视化结果表明，TEM 在第二阶段学习到多样化模式——局部关注（如头 0）和全局关注（如头 5）——而 MOFA 专注于关注当前帧及其邻近帧。
• 随机打乱输入帧会显著降低性能，但预训练有效缓解了这一问题，使性能下降幅度相比非预训练基线减少了 2.9%。