[论文解读] Sparseness Meets Deepness: 3D Human Pose Estimation from Monocular Video

Xiaowei Zhou, Menglong Zhu+3 more|arXiv (Cornell University)|Nov 30, 2015

Human Pose and Action Recognition参考文献 51被引用 39

一句话总结

本文提出了一种新颖的单目视频3D人体姿态估计框架，通过将深度卷积网络用于2D关节点检测，结合基于稀疏性的3D几何先验和通过期望最大化算法实现的时间平滑性，实现了联合优化。该方法通过联合优化2D检测不确定性与3D重建，提升了3D姿态估计的准确性，在Human3.6M数据集上达到最先进性能，并在具有挑战性的PennAction数据集上超越了强大的2D基线模型。

ABSTRACT

This paper addresses the challenge of 3D full-body human pose estimation from a monocular image sequence. Here, two cases are considered: (i) the image locations of the human joints are provided and (ii) the image locations of joints are unknown. In the former case, a novel approach is introduced that integrates a sparsity-driven 3D geometric prior and temporal smoothness. In the latter case, the former case is extended by treating the image locations of the joints as latent variables. A deep fully convolutional network is trained to predict the uncertainty maps of the 2D joint locations. The 3D pose estimates are realized via an Expectation-Maximization algorithm over the entire sequence, where it is shown that the 2D joint location uncertainties can be conveniently marginalized out during inference. Empirical evaluation on the Human3.6M dataset shows that the proposed approaches achieve greater 3D pose estimation accuracy over state-of-the-art baselines. Further, the proposed approach outperforms a publicly available 2D pose estimation baseline on the challenging PennAction dataset.

研究动机与目标

• 解决由于自遮挡、视角变化和图像噪声导致的从单目视频中恢复3D人体姿态的固有模糊性问题。
• 通过联合建模2D关节点检测不确定性与3D几何约束，提升3D姿态估计的准确性。
• 通过仅使用2D标注和由动作捕捉数据导出的3D字典，实现在缺乏同步2D-3D训练数据情况下的鲁棒3D姿态估计。
• 通过时间平滑性与整体3D姿态先验，增强对检测器误差和遮挡的鲁棒性。

提出的方法

• 训练一个全卷积神经网络，用于预测2D关节点位置的置信度热力图，以建模检测不确定性。
• 从动作捕捉数据中构建一个稀疏3D姿态字典，以表示合理的3D人体姿态。
• 使用期望最大化算法，通过在2D位置不确定性上进行边缘化，联合估计3D姿态并优化2D检测。
• 对3D姿态和视角参数施加时间平滑性约束，以提升帧间的一致性。
• 框架在E步（给定当前3D姿态估计2D检测不确定性）与M步（利用2D检测与几何先验更新3D姿态）之间交替进行。
• 该方法无需同步的2D-3D训练数据，仅依赖2D标注与从MoCap数据中学习到的3D字典。

实验结果

研究问题

• RQ1 2D检测与3D重建的联合优化是否能提升单目视频中3D姿态估计的准确性？
• RQ2 在3D姿态推理过程中，如何有效建模并边缘化2D关节点位置的检测不确定性？
• RQ3 基于稀疏性的3D几何先验与时间平滑性在多大程度上能减少单目3D姿态估计中的模糊性？
• RQ4 所提方法是否能在不依赖同步2D-3D训练数据的情况下超越最先进方法？
• RQ5 该方法在野外视频中面对遮挡、快速运动和大姿态变化时的鲁棒性如何？

主要发现

• 在Human3.6M数据集上，所提方法的3D姿态估计精度高于最先进基线模型，证明了融合3D先验与时间建模的有效性。
• 在PennAction数据集上，该方法将高尔夫挥杆动作的每关节点距离误差从24.78像素（基线）降低至14.03像素，网球正手击球动作的误差从29.15降至20.99像素。
• PCK指标在高尔夫挥杆动作上从0.38提升至0.54，在网球正手击球动作上从0.40提升至0.45，表明关节点定位精度更高。
• 仅初始化步骤（使用CNN热力图）已优于基线模型，显示出深度特征在2D检测中的价值。
• EM优化步骤显著提升了结果，通过利用3D几何约束与时间平滑性，平均误差降低超过40%。
• 定性结果表明，该方法在自遮挡、快速运动和视角变化等复杂条件下仍能成功恢复姿态，尤其在PennAction数据集上的表现突出。