[论文解读] Refined Temporal Pyramidal Compression-and-Amplification Transformer for 3D Human Pose Estimation

Hanbing Liu, Wangmeng Xiang+5 more|arXiv (Cornell University)|Sep 4, 2023

Human Pose and Action Recognition被引用 4

一句话总结

该论文提出了一种用于3D人体姿态估计的精化时间金字塔压缩与放大（RTPCA）变换器，整合了时间金字塔压缩与放大（TPCA）模块以实现块内多尺度特征学习，并引入跨层精炼（XLR）模块以增强块间注意力。该方法在Human3.6M、HumanEva-I和MPI-INF-3DHP等基准数据集上实现了最先进（SOTA）的精度，且计算成本极低。

ABSTRACT

Accurately estimating the 3D pose of humans in video sequences requires both accuracy and a well-structured architecture. With the success of transformers, we introduce the Refined Temporal Pyramidal Compression-and-Amplification (RTPCA) transformer. Exploiting the temporal dimension, RTPCA extends intra-block temporal modeling via its Temporal Pyramidal Compression-and-Amplification (TPCA) structure and refines inter-block feature interaction with a Cross-Layer Refinement (XLR) module. In particular, TPCA block exploits a temporal pyramid paradigm, reinforcing key and value representation capabilities and seamlessly extracting spatial semantics from motion sequences. We stitch these TPCA blocks with XLR that promotes rich semantic representation through continuous interaction of queries, keys, and values. This strategy embodies early-stage information with current flows, addressing typical deficits in detail and stability seen in other transformer-based methods. We demonstrate the effectiveness of RTPCA by achieving state-of-the-art results on Human3.6M, HumanEva-I, and MPI-INF-3DHP benchmarks with minimal computational overhead. The source code is available at https://github.com/hbing-l/RTPCA.

研究动机与目标

• 解决现有基于变换器的3D姿态估计方法中对块内与块间注意力机制利用不足的问题。
• 通过金字塔形压缩与放大结构，增强单个变换器块内多尺度时间特征表示。
• 通过相邻层间键与值的动态交互，提升块间通信能力。
• 开发一种轻量化但高效架构，在精度与推理效率之间实现良好平衡。
• 在标准基准上通过全面的消融实验与定性分析验证该框架。

提出的方法

• 时间金字塔压缩与放大（TPCA）模块通过自适应池化与转置卷积，在时间层级上实现特征的压缩与再放大，从而丰富块内键与值的表示。
• 跨层精炼（XLR）模块通过可学习注意力机制，融合来自前后块的键与值，提升块间信息流动。
• XLR模块以残差连接形式实现，采用固定查询投影，实现稳定且高效的跨层注意力融合。
• TPCA与XLR模块堆叠于变换器编码器架构中，特征精炼直接集成于注意力计算过程。
• 该框架采用标准3D姿态估计损失（MPJPE）进行端到端训练，并在Human3.6M、HumanEva-I与MPI-INF-3DHP数据集上进行评估。
• 消融研究对比了不同压缩/放大方法与融合策略，最优配置基于MPJPE与延迟指标选定。

实验结果

研究问题

• RQ1 金字塔形压缩与放大机制是否能提升单个变换器块内3D姿态估计的时间多尺度特征学习能力？
• RQ2 与标准自注意力相比，相邻块间跨层注意力融合是否能提升模型性能与稳定性？
• RQ3 块内与块间精炼的集成如何影响精度与计算效率之间的权衡？
• RQ4 TPCA模块中压缩与放大操作的最优配置是什么，可实现最小MPJPE与延迟？
• RQ5 与基于特征的融合方法相比，XLR模块在性能与参数效率方面表现如何？

主要发现

• RTPCA模型在Human3.6M数据集上达到20.0mm的MPJPE，相比现有SOTA方法在精度与延迟方面均表现更优。
• TPCA模块中自适应池化与转置卷积的结合表现最佳，将MPJPE降低至20.0mm，优于其他配置的20.9mm。
• XLR模块显著提升了模型稳定性，加速度误差（Accel）最低，仅为1.82 mm/s²，表明其具备更优的时间一致性。
• 采用固定查询投影的残差XLR结构实现了最优MPJPE 19.5mm，优于基于特征的融合与其它注意力融合策略。
• 消融研究证实，基于注意力的跨层融合优于基于特征的融合，后者增加参数量且降低性能。
• 定性结果表明，RTPCA生成的3D姿态重建更精确且鲁棒，尤其在遮挡与复杂运动场景下表现更优。