[论文解读] Pose-Oriented Transformer with Uncertainty-Guided Refinement for 2D-to-3D Human Pose Estimation

Han Li, Bowen Shi+8 more|arXiv (Cornell University)|Feb 15, 2023

Human Pose and Action Recognition被引用 5

一句话总结

本文提出了一种两阶段Transformer框架——姿态导向Transformer（Pose-Oriented Transformer, POT）与不确定性引导优化网络（Uncertainty-Guided Refinement Network, UGRN），用于2D到3D人体姿态估计。POT通过引入姿态导向机制与与距离相关的位置嵌入，增强自注意力机制以建模人体骨骼拓扑结构；UGRN则通过不确定性引导采样与注意力机制对预测结果进行优化，在Human3.6M与MPI-INF-3DHP数据集上以更少参数实现最先进性能。

ABSTRACT

There has been a recent surge of interest in introducing transformers to 3D human pose estimation (HPE) due to their powerful capabilities in modeling long-term dependencies. However, existing transformer-based methods treat body joints as equally important inputs and ignore the prior knowledge of human skeleton topology in the self-attention mechanism. To tackle this issue, in this paper, we propose a Pose-Oriented Transformer (POT) with uncertainty guided refinement for 3D HPE. Specifically, we first develop novel pose-oriented self-attention mechanism and distance-related position embedding for POT to explicitly exploit the human skeleton topology. The pose-oriented self-attention mechanism explicitly models the topological interactions between body joints, whereas the distance-related position embedding encodes the distance of joints to the root joint to distinguish groups of joints with different difficulties in regression. Furthermore, we present an Uncertainty-Guided Refinement Network (UGRN) to refine pose predictions from POT, especially for the difficult joints, by considering the estimated uncertainty of each joint with uncertainty-guided sampling strategy and self-attention mechanism. Extensive experiments demonstrate that our method significantly outperforms the state-of-the-art methods with reduced model parameters on 3D HPE benchmarks such as Human3.6M and MPI-INF-3DHP

研究动机与目标

• 解决现有基于Transformer的3D人体姿态估计方法在自注意力机制中忽略人体骨骼拓扑结构的问题。
• 降低远离根关节（骨盆）的关节约的预测误差，这些关节约因深度模糊性而更难估计。
• 通过在优化阶段显式建模预测不确定性，提升3D姿态估计的鲁棒性与准确性。
• 设计一种轻量化但高效的框架，在降低模型复杂度的同时实现最先进性能。

提出的方法

• 提出一种姿态导向自注意力（Pose-Oriented Self-Attention, PO-SA）机制，通过基于相对距离的注意力偏置编码身体关节之间的拓扑关系。
• 引入与距离相关的位置嵌入，按关节与根关节（骨盆）的距离对关节进行分组，以更好地表示回归难度较高的关节约。
• 设计一种不确定性引导优化网络（UGRN），利用估计的关节约不确定性，引导在预测周围采样候选3D坐标。
• 在UGRN中采用不确定性引导自注意力（UG-SA）机制，降低高不确定性关节约在优化过程中的影响。
• 在UGRN中采用高斯采样策略，以估计的不确定性作为方差对预测坐标进行扰动，提升鲁棒性。
• 采用两阶段流程：首先，POT使用拓扑感知注意力预测3D姿态；其次，UGRN通过不确定性感知机制对预测结果进行优化。

实验结果

研究问题

• RQ1 在自注意力机制中显式建模人体骨骼拓扑结构，对3D人体姿态估计性能有何影响？
• RQ2 按关节与根关节的距离对关节约分组，是否能提升估计精度，特别是对远端关节约？
• RQ3 在优化过程中引入预测不确定性，是否能提升对困难关节约的性能表现？
• RQ4 与标准方法相比，不确定性引导采样与注意力机制如何提升3D姿态优化的鲁棒性？
• RQ5 轻量化两阶段Transformer框架是否能以更少参数实现最先进性能，优于现有方法？

主要发现

• 所提方法在Human3.6M数据集上实现33.82mm的平均关节约位置误差（MPJPE），优于先前最先进方法。
• 引入与距离相关的嵌入相比仅使用关节约位置嵌入的基线，将MPJPE降低0.88mm。
• 将标准自注意力替换为姿态导向自注意力（PO-SA）后，MPJPE降低1.10mm，仅增加0.01M参数。
• 不确定性引导优化阶段（UGRN）相比仅使用第一阶段POT预测，带来0.83mm的性能提升。
• 在UGRN中同时采用不确定性引导采样与UG-SA机制，进一步提升性能0.9mm，证明了不确定性感知学习的有效性。
• 模型以显著更少的参数量实现SOTA性能——Our-L变体仅使用96维嵌入与12/3层Transformer，实现最优性能且无过度参数化。