[论文解读] Symbiotic Graph Neural Networks for 3D Skeleton-based Human Action Recognition and Motion Prediction

Maosen Li, Siheng Chen+4 more|arXiv (Cornell University)|Oct 5, 2019

Human Pose and Action Recognition被引用 13

一句话总结

该论文提出Symbiotic Graph Neural Networks (Sym-GNN)，一种基于多尺度图卷积网络的联合模型，用于3D骨骼动作识别与动作预测。通过将关节尺度图与部件尺度图结合双骨基网络，Sym-GNN在识别头与预测头之间实现相互监督，从而增强特征学习，在NTU-RGB+D、Kinetics、Human3.6M和CMU Mocap数据集上达到最先进性能。

ABSTRACT

3D skeleton-based action recognition and motion prediction are two essential problems of human activity understanding. In many previous works: 1) they studied two tasks separately, neglecting internal correlations; 2) they did not capture sufficient relations inside the body. To address these issues, we propose a symbiotic model to handle two tasks jointly; and we propose two scales of graphs to explicitly capture relations among body-joints and body-parts. Together, we propose symbiotic graph neural networks, which contain a backbone, an action-recognition head, and a motion-prediction head. Two heads are trained jointly and enhance each other. For the backbone, we propose multi-branch multi-scale graph convolution networks to extract spatial and temporal features. The multi-scale graph convolution networks are based on joint-scale and part-scale graphs. The joint-scale graphs contain actional graphs, capturing action-based relations, and structural graphs, capturing physical constraints. The part-scale graphs integrate body-joints to form specific parts, representing high-level relations. Moreover, dual bone-based graphs and networks are proposed to learn complementary features. We conduct extensive experiments for skeleton-based action recognition and motion prediction with four datasets, NTU-RGB+D, Kinetics, Human3.6M, and CMU Mocap. Experiments show that our symbiotic graph neural networks achieve better performances on both tasks compared to the state-of-the-art methods.

研究动机与目标

• 为解决将3D骨骼动作识别与动作预测视为独立任务所导致的局限性，忽视二者之间的相互依赖关系。
• 通过显式建模3D骨骼中的局部关节关系与高层身体部件交互，提升特征表示能力。
• 通过共享主干特征联合训练识别头与预测头，提升模型鲁棒性与性能。
• 构建多尺度图卷积框架，同时捕捉动作特异性动态与物理约束。
• 利用共享的互补表征，实现在早期实现准确的动作分类，并生成精确的长期动作预测。

提出的方法

• 模型采用多分支多尺度图卷积主干网络，处理关节尺度图与部件尺度图，以提取时空特征。
• 关节尺度图包括动作图（捕捉基于动作的动力学）与结构图（建模关节间的物理约束）。
• 部件尺度图将关节分组为身体部件（如肢体），以表示高层语义关系并提升泛化能力。
• 双骨基网络从关节坐标导出的骨向量中学习互补特征，增强运动模式建模能力。
• 动作识别头与动作预测头联合训练，将预测的动作类别反馈至预测头，以引导未来姿态生成。
• 图推理模块在输入扰动下表现稳定，理论分析表明其对噪声的响应呈线性关系（q ≈ 1），确保鲁棒性。

实验结果

研究问题

• RQ1 与独立模型相比，联合训练动作识别与动作预测是否能提升两个任务的性能？
• RQ2 多尺度图（关节尺度与部件尺度）在3D骨骼建模中如何改善特征表示？
• RQ3 识别头与预测头之间的共生交互在多大程度上增强特征学习与泛化能力？
• RQ4 模型在输入噪声下表现如何？其基于图的推理是否稳定？
• RQ5 所提出的图结构能否有效捕捉人体运动中的局部动态与长程动作相关关系？

主要发现

• Sym-GNN在NTU-RGB+D（跨主体划分）上实现最先进动作识别准确率，超越先前方法。
• 在Human3.6M数据集上，Sym-GNN将动作预测的平均绝对误差（MAE）相比先前SOTA方法降低最多12.3%。
• 即使在输入骨骼加入高斯噪声（σ ≤ 0.04）时，模型仍保持超过90%的识别准确率。
• 动作预测结果表明，Sym-GNN生成的长期序列比Res-sup、AGED与CSM更具真实感与准确性，避免了过度旋转与扭转伪影。
• 扰动分析证实，图卷积模块具有稳定性，响应偏差随输入噪声线性增长（放大因子q ≈ 1）。
• 关节尺度动作图的可视化显示，语义相似的动作（如走路、结伴行走）在嵌入空间中紧密聚集。