[论文解读] Structured Prediction of 3D Human Pose with Deep Neural Networks

Bugra Tekin, Isinsu Katircioglu+3 more|arXiv (Cornell University)|May 17, 2016

Human Pose and Action Recognition参考文献 30被引用 48

一句话总结

本文提出一种深度学习框架，将卷积神经网络（CNN）与过完备自编码器结合，实现从单目图像进行3D人体姿态的结构化预测。通过学习关节构型的高维潜在表征，该方法隐式建模了身体各部分之间的依赖关系，在直接回归或最大间隔方法的基础上，实现了最先进的准确度和更优的结构保持能力。

ABSTRACT

Most recent approaches to monocular 3D pose estimation rely on Deep Learning. They either train a Convolutional Neural Network to directly regress from image to 3D pose, which ignores the dependencies between human joints, or model these dependencies via a max-margin structured learning framework, which involves a high computational cost at inference time. In this paper, we introduce a Deep Learning regression architecture for structured prediction of 3D human pose from monocular images that relies on an overcomplete auto-encoder to learn a high-dimensional latent pose representation and account for joint dependencies. We demonstrate that our approach outperforms state-of-the-art ones both in terms of structure preservation and prediction accuracy.

研究动机与目标

• 解决单目3D人体姿态估计面临的深度模糊性和遮挡问题。
• 克服直接回归网络在3D姿态预测中忽略关节依赖关系的局限性。
• 通过建模身体关节之间的物理和统计约束，提升结构保持能力和预测准确度。
• 构建一种结合回归效率与结构化预测归纳偏置的深度学习框架。
• 证明通过过完备自编码器学习的高维潜在空间，能够比手工设计特征或PCA更有效地隐式编码姿态依赖关系。

提出的方法

• 训练一个过完备自编码器，将3D关节位置映射到高维潜在空间，以保留复杂的关节关系。
• 使用CNN直接从输入图像回归到自编码器所学习的潜在姿态表征。
• 将预训练自编码器的解码器连接到CNN，实现对完整架构的端到端微调。
• 利用自编码器的隐藏层作为结构化、高维的表征，隐式建模人体统计特性和关节约束。
• 对整个网络进行端到端的微调，以优化3D姿态估计，提升泛化能力和准确度。
• 将潜在空间用作结构化输出空间，以深度、数据驱动的表征替代基于核的方法（如KDE）。

实验结果

研究问题

• RQ1 是否能够通过深度神经网络架构在无需昂贵推理时间优化的情况下，有效建模3D人体姿态中的关节依赖关系？
• RQ2 通过过完备自编码器学习高维潜在表征，是否能相比直接回归提升3D姿态预测的准确度？
• RQ3 自编码器的潜在空间是否能隐式编码人体姿态的物理和统计约束，从而实现更好的结构保持？
• RQ4 在准确度和效率方面，该方法与最大间隔结构学习和基于核的方法相比表现如何？
• RQ5 性能提升是源于自编码器的表征能力，还是仅仅因为网络容量的增加？

主要发现

• 在Human3.6M数据集上，该方法在微调后实现了11.90 mm的平均误差，优于当前SOTA方法，表现更优。
• 与KDE相比，肢体比例误差降低25%；与CNN-Direct相比，降低12%，表明在上半身等区域具有更优的结构保持能力。
• 表现最佳的自编码器配置为单个2000单元层或两个300单元层，更深或更宽的架构未带来显著改进。
• 微调始终能提升性能，且该方法显著优于CNN-ExtraFC和CNN-PCA等基线模型，证明了学习到的自编码器表征的优越性。
• 在各类动作（包括'拍照'和'遛狗'等复杂动作）中，该方法均保持强大性能，尤其在物理约束更明显的场景中表现突出。
• 可视化分析表明，与基线方法相比，该方法预测的姿态更自然地保持了肢体长度比例，误差矩阵中更多单元为蓝色（更接近理想状态）。