[论文解读] Spatiotemporal Co-attention Recurrent Neural Networks for Human-Skeleton Motion Prediction

Xiangbo Shu, Liyan Zhang+3 more|arXiv (Cornell University)|Sep 29, 2019

Human Pose and Action Recognition被引用 7

一句话总结

本文提出了一种新型架构——时空协同注意力循环神经网络（SC-RNN），通过骨骼-关节协同注意力（SCA）机制，联合建模人体关节约束的空间一致性与骨架随时间的演化。通过在空间和时间维度上学习动态注意力权重，SC-RNN 在人体骨架运动预测任务中优于现有方法，在1000ms长期预测中相较之前最先进方法MHU的平均绝对误差（MAE）降低了0.8。

ABSTRACT

Human motion prediction aims to generate future motions based on the observed human motions. Witnessing the success of Recurrent Neural Networks (RNN) in modeling the sequential data, recent works utilize RNN to model human-skeleton motion on the observed motion sequence and predict future human motions. However, these methods did not consider the existence of the spatial coherence among joints and the temporal evolution among skeletons, which reflects the crucial characteristics of human motion in spatiotemporal space. To this end, we propose a novel Skeleton-joint Co-attention Recurrent Neural Networks (SC-RNN) to capture the spatial coherence among joints, and the temporal evolution among skeletons simultaneously on a skeleton-joint co-attention feature map in spatiotemporal space. First, a skeleton-joint feature map is constructed as the representation of the observed motion sequence. Second, we design a new Skeleton-joint Co-Attention (SCA) mechanism to dynamically learn a skeleton-joint co-attention feature map of this skeleton-joint feature map, which can refine the useful observed motion information to predict one future motion. Third, a variant of GRU embedded with SCA collaboratively models the human-skeleton motion and human-joint motion in spatiotemporal space by regarding the skeleton-joint co-attention feature map as the motion context. Experimental results on human motion prediction demonstrate the proposed method outperforms the related methods.

研究动机与目标

• 解决现有基于RNN的人体运动预测方法仅在时间维度建模运动、忽略关节约束空间一致性的局限性。
• 在统一框架中同时捕捉人体关节约束的空间依赖性与骨架随时间演化的动态特性。
• 通过在空间和时间维度上动态关注相关的历史运动状态，提升长期运动预测的准确性。
• 提出一种新型注意力机制，学习骨骼-关节点特征图上的联合注意力权重，以获得更精细的运动上下文表征。

提出的方法

• 构建一个骨骼-关节点特征图，用于编码观测到的运动序列，其中行代表关节点类型，列代表时间帧。
• 设计一种骨骼-关节点协同注意力（SCA）机制，用于在骨骼-关节点特征图上学习空间（关节点）与时间（帧）维度的动态注意力权重。
• 将SCA机制集成到门控循环单元（GRU）的变体中，形成骨骼-关节点协同注意力GRU（SC-GRU），以在时空空间中联合建模关节点与骨架的运动。
• 提出一种加权格拉姆矩阵损失函数，用于训练SC-GRU模型，优化预测运动序列的结构一致性。
• 将整个观测到的运动序列作为运动上下文，SCA动态优化其中最相关的上下文部分，以用于未来姿态的预测。
• 在H3.6M数据集上训练并评估SC-RNN模型，与最先进方法（包括ERD、LSTM-3LR、Res-GRU和MHU）进行性能对比。

实验结果

研究问题

• RQ1 联合建模关节约束的空间一致性和骨架随时间的演化，是否能提升长期人体运动预测性能？
• RQ2 一种在空间和时间维度上同时运作的协同注意力机制，与传统仅在时间维度上作用的注意力机制相比，在运动预测中表现如何？
• RQ3 所提出的SCA机制在多大程度上通过选择性关注观测序列中的相关关节点和时间帧，实现对运动上下文的优化？
• RQ4 将SCA机制集成到基于GRU的架构中，是否能生成比标准RNN或注意力增强RNN更准确、更逼真的运动？
• RQ5 所提出的加权格拉姆矩阵损失是否能提升预测人体运动序列的结构保真度？

主要发现

• 与MHU方法相比，SC-RNN在1000ms长期运动预测中实现了0.8的平均绝对误差（MAE）降低，证明其在长期预测中具有更优的准确性。
• 在H3.6M数据集上，SC-RNN在15种人体动作中的12种上达到最低的MAE，尤其在“问候”和“行走”动作上取得显著改进。
• 定性结果表明，与ERD、LSTM-3LR和Res-GRU相比，SC-RNN能生成更精确的运动细节，特别是在手部和肢体位置的预测上。
• SCA机制使模型能够动态关注相关关节点和时间帧，从而改善上下文表征与预测保真度。
• SC-RNN相较ERD和LSTM-3LR有显著性能提升，尤其在长期运动预测中，证实了时空协同注意力的优势。
• 所提出的加权格拉姆矩阵损失有助于提升预测运动序列的结构一致性，定性对比结果与真实标签相比已得到验证。