[论文解读] PVRED: A Position-Velocity Recurrent Encoder-Decoder for Human Motion Prediction

Hongsong Wang, Jian Dong+2 more|arXiv (Cornell University)|Jun 15, 2019

Human Pose and Action Recognition参考文献 39被引用 10

一句话总结

PVRED 提出了一种端到端的位置-速度循环编码器-解码器网络，通过整合姿态速度、时间位置嵌入以及可学习的四元数变换层，提升了人体动作预测性能。通过利用速度感知的RNN和基于四元数的姿态表示来建模运动动力学，PVRED 在短时和长时动作预测任务中均达到当前最优性能，能够生成未来长达4秒的自然且有意义的动作姿态。

ABSTRACT

Human motion prediction, which aims to predict future human poses given past poses, has recently seen increased interest. Many recent approaches are based on Recurrent Neural Networks (RNN) which model human poses with exponential maps. These approaches neglect the pose velocity as well as temporal relation of different poses, and tend to converge to the mean pose or fail to generate natural-looking poses. We therefore propose a novel Position-Velocity Recurrent Encoder-Decoder (PVRED) for human motion prediction, which makes full use of pose velocities and temporal positional information. A temporal position embedding method is presented and a Position-Velocity RNN (PVRNN) is proposed. We also emphasize the benefits of quaternion parameterization of poses and design a novel trainable Quaternion Transformation (QT) layer, which is combined with a robust loss function during training. We provide quantitative results for both short-term prediction in the future 0.5 seconds and long-term prediction in the future 0.5 to 1 seconds. Experiments on several benchmarks show that our approach considerably outperforms the state-of-the-art methods. In addition, qualitative visualizations in the future 4 seconds show that our approach could predict future human-like and meaningful poses in very long time horizons. Code is publicly available on GitHub: extcolor{red}{https://github.com/hongsong-wang/PVRNN}.

研究动机与目标

• 解决基于RNN的动作预测模型收敛至平均姿态或无法生成真实运动的局限性。
• 克服现有方法中缺乏时间位置感知和速度建模的问题，后者会降低长期预测质量。
• 提出一种新颖的、可端到端训练的架构，利用四元数参数化避免姿态表示中的奇点和不连续性。
• 通过使用正弦-余弦频率嵌入编码相对帧位置，提升人体动作预测的泛化能力和时间连贯性。
• 在短时（0.5秒）和长时（最多1秒）预测基准上实现卓越性能，定性结果可扩展至4秒。

提出的方法

• 提出一种位置-速度RNN（PVRNN），输入包括历史姿态、姿态速度和可学习的时间位置嵌入，以建模运动动力学。
• 采用不同频率的正弦和余弦函数设计新型时间位置嵌入，以编码帧之间相对时间位置。
• 设计可学习的四元数变换（QT）层，实现基于四元数的姿态表示的端到端学习，避免预处理/后处理步骤。
• 在编码器-解码器框架中引入残差连接，以稳定训练并改善梯度流动。
• 使用鲁棒损失函数进行模型训练，结合预测关节点位置的L2损失与基于速度的监督，以增强运动连续性。
• 将姿态预测解耦为速度预测与姿态积分，其中预测的速度随时间累积以生成未来姿态。

实验结果

研究问题

• RQ1 在基于RNN的动作预测框架中引入姿态速度，是否能显著提升预测精度并减少收敛至平均姿态的现象？
• RQ2 添加可学习的时间位置嵌入是否能增强模型在长序列中区分时间上接近与遥远帧的能力？
• RQ3 四元数参数化在减少奇点和提升动作真实感方面，相较于指数映射表示能多大程度上表现更优？
• RQ4 速度建模、位置编码与四元数学习的结合，对长期动作预测（超过400ms）有何影响？
• RQ5 所提出的架构能否在长预测时域（如4秒）内生成自然且有意义的人体动作序列，而不会出现模式崩溃？

主要发现

• PVRED 在 Human3.6M 数据集上达到当前最优性能，短时预测中‘smoking’动作在80ms时误差为0.24 mm，400ms时为0.93 mm。
• 在长时预测（560–1000ms）中，PVRED 将误差降低至1.29 mm（smoking）和1.77 mm（discussion），在1000ms时相比之前方法最高减少0.21 mm。
• 消融实验表明，移除姿态速度后，‘discussion’动作在80ms时误差增加0.08 mm，1000ms时增加0.21 mm，证实速度在运动连续性中的关键作用。
• 位置嵌入在‘smoking’动作中将560ms时的误差降低最多0.06 mm，尤其在非周期性动作中增益更明显，证明其在时间区分上的价值。
• 四元数变换层在‘smoking’动作中将80ms时的误差降低0.06 mm，1000ms时降低0.22 mm，验证了四元数参数化相较于指数映射的优越性。
• 定性结果表明，PVRED 能生成连贯且类人的动作序列，预测时域可达未来4秒，避免了先前模型常见的模式崩溃现象。