[论文解读] Not All Parts Are Created Equal: 3D Pose Estimation by Modelling Bi-directional Dependencies of Body Parts

Jue Wang, Shaoli Huang+2 more|arXiv (Cornell University)|May 20, 2019

Human Pose and Action Recognition参考文献 43被引用 14

一句话总结

本文提出了一种新颖的3D人体姿态估计方法，通过建模不同身体部位之间的双向自由度（DOF）依赖关系，将高自由度关节（如肘部）视为依赖于低自由度关节（如躯干）的同时，也允许其对后者施加约束。该方法引入了一个姿态属性预测头，用于估计相对于躯干的关节相对位置（前/后/同平面），显著提升了肢体估计的准确性，并在Human3.6M和MPI-INF-3DHP基准上实现了最先进性能。

ABSTRACT

Not all the human body parts have the same~degree of freedom~(DOF) due to the physiological structure. For example, the limbs may move more flexibly and freely than the torso does. Most of the existing 3D pose estimation methods, despite the very promising results achieved, treat the body joints equally and consequently often lead to larger reconstruction errors on the limbs. In this paper, we propose a progressive approach that explicitly accounts for the distinct DOFs among the body parts. We model parts with higher DOFs like the elbows, as dependent components of the corresponding parts with lower DOFs like the torso, of which the 3D locations can be more reliably estimated. Meanwhile, the high-DOF parts may, in turn, impose a constraint on where the low-DOF ones lie. As a result, parts with different DOFs supervise one another, yielding physically constrained and plausible pose-estimation results. To further facilitate the prediction of the high-DOF parts, we introduce a pose-attribute estimation, where the relative location of a limb joint with respect to the torso, which has the least DOF of a human body, is explicitly estimated and further fed to the joint-estimation module. The proposed approach achieves very promising results, outperforming the state of the art on several benchmarks.

研究动机与目标

• 为解决现有3D姿态估计方法中对所有身体关节一视同仁的问题，尽管其自由度（DOF）各不相同。
• 通过显式建模高灵活性肢体对更稳定、低自由度身体部位（如躯干）的依赖关系，减少其重建误差。
• 通过引入一种可靠且多分类的姿态属性，编码相对于躯干的关节相对位置，以提升3D姿态估计的准确性。
• 通过无监督域自适应实现对野外图像的鲁棒泛化，即使在无3D标注或姿态属性监督的情况下亦可。

提出的方法

• 将身体部位划分为三类DOF层级：躯干（自由度最低）、近端肢体（如肩部、肘部、膝部）和远端肢体（如腕部、踝部）。
• 以渐进式、双向方式建模高自由度关节对低自由度身体部位的依赖关系，双向监督机制共同提升物理合理性。
• 引入多任务网络，联合预测2D关节位置与每个肢体关节的三分类姿态属性（前/后/同平面），提供强有力的三维空间先验。
• 将预测的姿态属性作为3D姿态估计网络的输入，替代基于回归的深度估计，以减少误差传播。
• 采用两阶段框架：首先估计2D姿态与姿态属性，然后利用依赖关系建模对3D姿态进行优化。
• 应用无监督域自适应，将模型迁移至野外图像，而无需依赖3D标注或姿态属性标签。

实验结果

研究问题

• RQ1 建模不同自由度身体部位之间的双向依赖关系，是否能提升3D姿态估计的准确性，尤其是在高自由度肢体上？
• RQ2 预测离散的姿态属性（相对于躯干的相对位置）是否比基于回归的深度估计提供更可靠、更有效的先验，用于3D姿态优化？
• RQ3 所提方法在未见域（如无3D标注的野外图像）上的泛化能力如何？
• RQ4 姿态属性组件在性能提升中起到了多大作用，特别是在腕部和踝部等挑战性关节上？
• RQ5 该方法是否能在不依赖领域特定训练数据的情况下，于标准基准（如Human3.6M和MPI-INF-3DHP）上实现最先进性能？

主要发现

• 所提方法在Human3.6M数据集上优于以往最先进方法，Protocol #1下平均关节误差达到52.6 mm，显著优于基线模型。
• 在MPI-INF-3DHP基准上，方法达到71.9% 3DPCK与35.8 AUC，超越先前方法，展现出强大的跨域泛化能力。
• 消融实验表明，姿态属性组件在腕部关节上可将误差降低最多达10.4 mm，在踝部关节上降低最多达6.6 mm，凸显其有效性。
• 仅双向依赖建模相比基线模型，平均误差降低1.4 mm，证明其对性能的直接贡献。
• 即使在无3D标注或姿态属性监督的情况下，通过无监督域自适应，该方法仍能良好泛化至野外图像，并保持强劲性能。