[论文解读] Recurrent Network Models for Human Dynamics

Katerina Fragkiadaki, Sergey Levine+2 more|arXiv (Cornell University)|Aug 2, 2015

Human Pose and Action Recognition参考文献 44被引用 73

一句话总结

该论文提出了一种用于建模动作捕捉和视频中人体动态的编码器-循环-解码器（ERD）循环神经网络模型，通过端到端训练联合学习时空表征与动态特性。ERD在人体姿态标注和400毫秒未来姿态预测任务中优于基线模型，尤其在被遮挡关节约束下表现更优，并能跨不同人物和活动生成多样化、不漂移的运动序列。

ABSTRACT

We propose the Encoder-Recurrent-Decoder (ERD) model for recognition and prediction of human body pose in videos and motion capture. The ERD model is a recurrent neural network that incorporates nonlinear encoder and decoder networks before and after recurrent layers. We test instantiations of ERD architectures in the tasks of motion capture (mocap) generation, body pose labeling and body pose forecasting in videos. Our model handles mocap training data across multiple subjects and activity domains, and synthesizes novel motions while avoid drifting for long periods of time. For human pose labeling, ERD outperforms a per frame body part detector by resolving left-right body part confusions. For video pose forecasting, ERD predicts body joint displacements across a temporal horizon of 400ms and outperforms a first order motion model based on optical flow. ERDs extend previous Long Short Term Memory (LSTM) models in the literature to jointly learn representations and their dynamics. Our experiments show such representation learning is crucial for both labeling and prediction in space-time. We find this is a distinguishing feature between the spatio-temporal visual domain in comparison to 1D text, speech or handwriting, where straightforward hard coded representations have shown excellent results when directly combined with recurrent units.

研究动机与目标

• 使用统一的深度学习框架对视频和动作捕捉数据中的复杂人体动态进行建模。
• 联合学习空间表征与时间动态，以提升姿态预测与标注性能。
• 在不产生漂移的前提下，跨多个主体和活动类型生成多样化、逼真的人体运动。
• 克服一阶运动模型和逐帧检测器在处理遮挡和左右混淆问题上的局限性。
• 实现时空人体运动任务中表征与动态的端到端联合学习。

提出的方法

• ERD模型使用非线性编码器将输入数据（如视频帧或动作捕捉向量）映射到适合循环处理的潜在表征。
• 基于LSTM的循环层处理编码后的序列，以建模时间动态与依赖关系。
• 非线性解码器从循环状态重建输出（如关节约热图或动作捕捉向量）。
• 整个网络通过端到端训练联合优化编码器、循环层与解码器组件。
• 在视频任务中，编码器为基于逐帧人体部位检测器初始化的CNN；解码器为全连接网络。
• 模型从预训练特征进行微调，并利用时间上下文信息解决歧义，提升运动连贯性。

实验结果

研究问题

• RQ1 统一的深度学习模型能否在视频和动作捕捉数据中联合学习人体运动的表征与动态？
• RQ2 与独立模型相比，编码器、循环层与解码器组件的联合端到端训练在姿态预测与标注方面有何改进？
• RQ3 ERD模型在长序列中跨主体与活动领域泛化的能力如何，是否能有效避免运动漂移？
• RQ4 与逐帧检测器相比，引入时间上下文是否能提升对被遮挡或模糊人体部位的性能？
• RQ5 在长时序姿态预测中，ERD模型与一阶运动模型（如光流）相比表现如何？

主要发现

• ERD在视频姿态标注任务中优于逐帧人体部位检测器，尤其显著减少了关节预测中的左右混淆。
• 在400毫秒未来姿态预测任务中，ERD显著优于零运动基线和基于光流的基线模型，尤其在被遮挡的下肢部位表现更优。
• ERD成功在动作捕捉数据中生成多样化、不漂移的人体运动序列，覆盖多个主体与活动类型。
• 非线性编码器与解码器至关重要——若不使用它们，仅使用标准多层LSTM模型无法在长时序内生成逼真运动。
• 从预训练的逐帧检测器微调编码器对性能至关重要；从随机权重训练则导致收敛性差。
• 大规模数据集（如H3.6M）对ERD视频标注器性能至关重要；小规模数据集易导致过拟合，使模型无法超越通用运动平滑先验。