[论文解读] Progressively Generating Better Initial Guesses Towards Next Stages for High-Quality Human Motion Prediction

Tiezheng Ma, Yongwei Nie+3 more|arXiv (Cornell University)|Mar 30, 2022

Human Pose and Action Recognition被引用 8

一句话总结

本文提出了一种多阶段人体动作预测框架，通过递归地将真实序列平滑为中间目标，逐步生成未来姿态的更优初始猜测。采用一种新型的编码器-复制-解码器网络，结合空间与时间密集图卷积网络（S-DGCN/T-DGCN），该方法在Human3.6M、CMU-MoCap和3DPW数据集上均达到最先进性能，相比先前方法将预测误差降低了6%-7%、5%-10%和13%-16%。

ABSTRACT

This paper presents a high-quality human motion prediction method that accurately predicts future human poses given observed ones. Our method is based on the observation that a good initial guess of the future poses is very helpful in improving the forecasting accuracy. This motivates us to propose a novel two-stage prediction framework, including an init-prediction network that just computes the good guess and then a formal-prediction network that predicts the target future poses based on the guess. More importantly, we extend this idea further and design a multi-stage prediction framework where each stage predicts initial guess for the next stage, which brings more performance gain. To fulfill the prediction task at each stage, we propose a network comprising Spatial Dense Graph Convolutional Networks (S-DGCN) and Temporal Dense Graph Convolutional Networks (T-DGCN). Alternatively executing the two networks helps extract spatiotemporal features over the global receptive field of the whole pose sequence. All the above design choices cooperating together make our method outperform previous approaches by large margins: 6%-7% on Human3.6M, 5%-10% on CMU-MoCap, and 13%-16% on 3DPW.

研究动机与目标

• 通过利用未来姿态的更优初始猜测，提升高质量人体动作预测性能。
• 解决将最后观测姿态作为初始猜测的局限性，该方法在准确预测方面表现不佳。
• 设计一种多阶段框架，其中每一阶段均预测下一阶段的更优初始猜测，从而提升整体预测精度。
• 开发一种基于S-DGCN和T-DGCN的时空特征提取机制，有效建模姿态在时空上的动态变化。
• 验证累积平均平滑（AAS）作为中间目标策略，相较于全局均值或高斯滤波，具有更优性能。

提出的方法

• 该框架采用多阶段设计，每个阶段均预测未来姿态序列的平滑版本作为中间目标。
• 中间目标通过累积平均平滑（AAS）生成，该方法递归地对真实序列进行平均，生成逐步更平滑的近似。
• 每个阶段使用编码器-复制-解码器网络，其中“复制”操作将编码器输出注入解码器，以保留长距离依赖关系。
• S-DGCN通过将每个姿态建模为全连接图，处理关节之间的空间关系；T-DGCN则捕捉序列中的时间动态。
• S-DGCN与T-DGCN交替应用，以提取整个姿态序列的全局时空特征。
• 最终预测由最后一阶段生成，其将初始猜测逐步优化为目标未来姿态序列。

实验结果

研究问题

• RQ1 通过多阶段逐步优化初始猜测，是否能提升人体动作预测的准确性？
• RQ2 与全局均值或高斯滤波相比，累积平均平滑（AAS）是否是生成中间目标的更优策略？
• RQ3 与标准GCN相比，使用专用的S-DGCN和T-DGCN架构是否能提升时空特征学习能力？
• RQ4 阶段数量如何影响预测性能，其最优配置是什么？
• RQ5 编码器-复制-解码器网络中的“复制”操作对性能提升有何贡献？

主要发现

• 所提出的多阶段框架在Human3.6M数据集上相比先前最先进方法，误差降低了6%-7%。
• 在CMU-MoCap数据集上，该方法相比先前方法将预测误差降低了5%-10%。
• 在更具挑战性的3DPW数据集上，该方法将预测精度提升了13%-16%。
• 最优阶段数为四，超过此数量后性能趋于平稳或下降。
• 使用AAS作为中间目标策略的表现优于全局均值和高斯滤波，后者性能显著下降。
• 若在解码器中移除“复制”操作，误差从65.02上升至65.99，证明其在保留长距离依赖关系方面具有关键作用。