[论文解读] Spatio-Temporal Gating-Adjacency GCN for Human Motion Prediction

Chongyang Zhong, Lei Hu+3 more|arXiv (Cornell University)|Mar 3, 2022

Human Pose and Action Recognition被引用 10

一句话总结

本文提出时空门控邻接图卷积网络（GAGCN），通过门控网络动态融合可学习的候选邻接矩阵，实现对关节和时间依赖关系的自适应建模，从而提升人体动作预测性能。该方法在Human 3.6M、AMASS和3DPW数据集上实现了最先进性能，通过平衡与融合时空特征，显著提升了在多样化动作类型上的泛化能力以及长期预测的准确性。

ABSTRACT

Predicting future motion based on historical motion sequence is a fundamental problem in computer vision, and it has wide applications in autonomous driving and robotics. Some recent works have shown that Graph Convolutional Networks(GCN) are instrumental in modeling the relationship between different joints. However, considering the variants and diverse action types in human motion data, the cross-dependency of the spatio-temporal relationships will be difficult to depict due to the decoupled modeling strategy, which may also exacerbate the problem of insufficient generalization. Therefore, we propose the Spatio-Temporal Gating-Adjacency GCN(GAGCN) to learn the complex spatio-temporal dependencies over diverse action types. Specifically, we adopt gating networks to enhance the generalization of GCN via the trainable adaptive adjacency matrix obtained by blending the candidate spatio-temporal adjacency matrices. Moreover, GAGCN addresses the cross-dependency of space and time by balancing the weights of spatio-temporal modeling and fusing the decoupled spatio-temporal features. Extensive experiments on Human 3.6M, AMASS, and 3DPW demonstrate that GAGCN achieves state-of-the-art performance in both short-term and long-term predictions.

研究动机与目标

• 解决在多种动作类型下建模人体动作序列中复杂且多样的时空依赖关系的挑战。
• 克服图卷积网络中固定邻接矩阵在多动作预测应用中泛化能力差的问题。
• 通过增强特征表示以减轻误差累积，提升长期动作预测性能。
• 通过平衡与融合建模，捕捉关节关系与时间运动趋势之间的跨依赖关系。
• 开发一种可扩展的自适应图卷积网络架构，使其在未见动作类型上具有良好泛化能力。

提出的方法

• 模型采用门控网络学习多个候选空间与时间邻接矩阵的混合系数，实现自适应、输入相关的邻接矩阵。
• 通过独立的空间与时间门控网络学习的权重，对空间与时间邻接矩阵进行混合。
• 通过调整候选矩阵数量（如S4、T3）来控制空间与时间建模之间的权衡，从而平衡两者贡献。
• 利用克罗内克积融合时空特征，以捕捉关节关系与时间动态之间的跨依赖关系。
• 编码器采用GAGCN层，解码器采用时间卷积网络（TCN）实现端到端的序列到序列动作预测。
• 模型在基于骨骼的动作序列上进行端到端训练，使用L2损失函数以提升预测精度。

实验结果

研究问题

• RQ1 门控网络能否有效学习自适应邻接矩阵，从而在动作预测中实现对多样化人体动作类型的泛化？
• RQ2 平衡候选邻接矩阵数量如何影响基于图卷积网络的动作预测中时空建模的性能？
• RQ3 解耦的空间与时间特征融合在多大程度上能改善人体动作序列中跨依赖关系的建模？
• RQ4 所提方法在未见动作类型（如“Walking Together”）上是否具有良好泛化能力，即使未在训练数据中出现？
• RQ5 与现有最先进方法相比，该模型在长期动作预测中的表现如何？

主要发现

• 在Human 3.6M数据集上，GAGCN在80ms时达到10.1 mm的3D误差，160ms时为16.9 mm，1000ms时为72.9 mm，优于先前方法。
• 在长期预测（1000ms）中，GAGCN在Human 3.6M上的误差为72.9 mm，显著低于消融实验中次优方法的93.9 mm。
• 模型对未见动作泛化良好：在“Walking Together”（未见）上误差为13.1 mm，而“Walking”（已见）为10.1 mm，展现出强大的零样本泛化能力。
• 消融实验表明，使用4个空间与3个时间候选矩阵（S4, T3）时性能最佳，80ms误差为10.1 mm，优于矩阵数量更少的配置。
• 可视化结果表明，模型对周期性动作（如“Walking”）预测高度准确，对复杂非周期性动作（如“Discussions”、“Posing”）也表现出合理精度。
• 空间混合系数在不同动作类型间具有显著差异：“Walking”与“Walking Together”在ω3与ω4上表现出相似的高值，而“Discussions”与“Sitting Down”则呈现不同的分布，证实了模型具备自适应、动作特定的关注机制。