[论文解读] Sequence Modeling using Gated Recurrent Neural Networks

Mohammad Pezeshki|arXiv (Cornell University)|Jan 1, 2015

Human Pose and Action Recognition参考文献 10被引用 9

一句话总结

本文提出在循环神经网络中使用门控循环单元（GRUs）来建模和生成人体运动序列，其在捕捉长期依赖关系方面优于使用tanh激活函数的普通RNN，表现更优。GRU模型成功学习到记忆和重建运动数据的能力，生成的行走序列与真实动作捕捉数据几乎无法区分。

ABSTRACT

In this paper, we have used Recurrent Neural Networks to capture and model human motion data and generate motions by prediction of the next immediate data point at each time-step. Our RNN is armed with recently proposed Gated Recurrent Units which has shown promising results in some sequence modeling problems such as Machine Translation and Speech Synthesis. We demonstrate that this model is able to capture long-term dependencies in data and generate realistic motions.

研究动机与目标

• 解决人体运动序列数据中长期时间依赖关系建模的挑战。
• 评估门控循环单元（GRUs）在提升RNN训练与性能方面相对于传统tanh激活RNN的有效性。
• 利用训练好的基于GRU的生成模型生成逼真的人体运动序列。
• 验证模型从有限上下文记忆并重建复杂运动模式的能力。

提出的方法

• 该模型使用单层GRU，隐藏单元数为120，输入单元数为49，处理来自MIT动作捕捉数据集的运动序列。
• GRU通过更新门和重置门控制信息流动：$ h_t = (1 - z_t) \circ h_{t-1} + z_t \circ \widetilde{h}_t $，其中 $ \widetilde{h}_t = \tanh(W_{xh}x_t + W_{hh}(r_t \circ h_{t-1})) $。
• 更新门 $ z_t = \sigma(W_{xz}x_t + W_{hz}h_{t-1}) $ 和重置门 $ r_t = \sigma(W_{xr}x_t + W_{hr}h_{t-1}) $ 负责调节记忆保留与输入调制。
• 模型在运动数据上进行判别式训练，随后在生成模式下使用，即每一步的输出作为下一步的输入反馈。
• 数据预处理包括零均值、单位方差归一化，并去除全局运动，以提取每帧49个人体关节点特征。
• 运动生成从输入50帧真实运动作为初始上下文开始，随后通过自回归方式预测后续帧。

实验结果

研究问题

• RQ1 GRUs能否在标准RNN使用tanh激活函数失效的情况下，有效捕捉人体运动序列中的长期依赖关系？
• RQ2 基于GRU的RNN在从学习到的模式中重建并生成逼真的人体行走运动方面表现如何？
• RQ3 GRU中的门控机制是否能缓解序列建模任务中的梯度消失问题？
• RQ4 训练好的GRU模型在从短初始上下文出发时，能在多大程度上泛化生成连贯的长序列？

主要发现

• GRU模型在记忆任务中显著优于使用tanh激活的普通RNN，能够准确预测五个时间步前输入的总和。
• 在运动生成任务中，GRU生成的序列经人类观察者确认，与真实动作捕捉数据在视觉上无法区分。
• 模型在以50帧真实运动帧初始化后，成功生成了任意长度的序列，并保持了时间上的连贯性。
• 如图6所示，生成序列的平均特征轨迹与真实数据高度匹配，表明重建具有高保真度。
• GRU模型在处理长期依赖关系方面表现出鲁棒性，能够有效保留长序列中的相关信息。