[论文解读] Structure-Aware and Temporally Coherent 3D Human Pose Estimation

Rishabh Dabral, Anurag Mundhada+3 more|arXiv (Cornell University)|Nov 25, 2017

Human Pose and Action Recognition参考文献 25被引用 15

一句话总结

本文提出了一种半监督的3D人体姿态估计方法，利用大规模2D姿态数据和结构感知损失，在无需大量3D标注数据的情况下学习3D表征。通过整合时间网络以实现序列级一致性，该方法在消费级GPU上实现了30 FPS的实时推理性能，并取得了11.8%的性能提升，达到当前最先进水平。

ABSTRACT

Deep learning methods for 3D human pose estimation from RGB images require a huge amount of domain-specific labeled data for good in-the-wild performance. However, obtaining annotated 3D pose data requires a complex motion capture setup which is generally limited to controlled settings. We propose a semi-supervised learning method using a structure-aware loss function which is able to utilize abundant 2D data to learn 3D information. Furthermore, we present a simple temporal network which uses additional context present in pose sequences to improve and temporally harmonize the pose estimates. Our complete pipeline improves upon the state-of-the-art by 11.8% and works at 30 FPS on a commodity graphics card.

研究动机与目标

• 减少对昂贵3D标注数据在3D人体姿态估计中的依赖。
• 提升在非受限（真实场景）环境下的泛化能力和准确性。
• 利用丰富的2D姿态标注来学习3D结构。
• 通过视频上下文建模时间依赖性，提升序列姿态估计的一致性。
• 实现在消费级硬件上的实时推理性能。

提出的方法

• 该方法采用结构感知损失函数，以在预测的3D姿态中强制实现解剖学上的合理性。
• 采用半监督学习方法，在有限3D标注数据与大规模2D姿态数据的组合上进行训练。
• 引入时间网络以建模帧间序列依赖性，提升姿态一致性。
• 网络架构采用端到端训练，联合优化2D监督信号与3D结构约束。
• 该框架专为实时推理设计，在标准GPU上实现30 FPS的推理速度。
• 该方法无需复杂的动作捕捉系统，可直接利用广泛可用的2D姿态数据集。

实验结果

研究问题

• RQ1 仅使用2D标注和极少3D监督，能否显著提升3D人体姿态估计性能？
• RQ2 在无真实3D姿态监督的情况下，结构感知损失在强制实现解剖学真实性方面有多有效？
• RQ3 建模时间上下文在多大程度上能提升姿态估计的准确性和平滑性？
• RQ4 轻量级时间网络能否在提升一致性的同时实现实时性能？
• RQ5 所提出的方法在真实场景基准测试中是否优于现有SOTA方法？

主要发现

• 所提方法在真实场景3D姿态估计基准上相比之前SOTA方法实现了11.8%的性能提升。
• 模型在消费级显卡上运行速度达到30 FPS，支持实时推理。
• 使用2D数据结合结构感知损失，即使3D监督有限，也能显著提升3D姿态估计的准确性。
• 时间建模使视频帧间姿态序列更加一致且平滑。
• 该方法在无需专用动作捕捉系统的情况下，对非受限环境具有良好的泛化能力。
• 该框架仅依赖少量3D标注数据和大规模2D标注，即展现出强劲性能。