[论文解读] Recurrent Space-time Graph Neural Networks

Andrei Liviu Nicolicioiu, Iulia Duta+1 more|arXiv (Cornell University)|Apr 11, 2019

Human Pose and Action Recognition参考文献 62被引用 19

一句话总结

该论文提出了一种新型图神经网络——循环时空图（RSTG）神经网络，该模型通过节点间迭代消息传递与循环记忆状态，分别且联合地对空间和时间进行分解与处理。该模型在Something-Something-v1数据集上实现了最先进性能，使用2D ConvNet主干网络时，Top-1准确率超越强基线模型超过8%，使用3D-ResNet-50主干网络时，Top-1准确率提升3.1%。

ABSTRACT

Learning in the space-time domain remains a very challenging problem in machine learning and computer vision. Current computational models for understanding spatio-temporal visual data are heavily rooted in the classical single-image based paradigm. It is not yet well understood how to integrate information in space and time into a single, general model. We propose a neural graph model, recurrent in space and time, suitable for capturing both the local appearance and the complex higher-level interactions of different entities and objects within the changing world scene. Nodes and edges in our graph have dedicated neural networks for processing information. Nodes operate over features extracted from local parts in space and time and previous memory states. Edges process messages between connected nodes at different locations and spatial scales or between past and present time. Messages are passed iteratively in order to transmit information globally and establish long range interactions. Our model is general and could learn to recognize a variety of high level spatio-temporal concepts and be applied to different learning tasks. We demonstrate, through extensive experiments and ablation studies, that our model outperforms strong baselines and top published methods on recognizing complex activities in video. Moreover, we obtain state-of-the-art performance on the challenging Something-Something human-object interaction dataset.

研究动机与目标

• 为解决视频数据中复杂时空交互学习的挑战，当前模型常受限于固定架构或长程建模能力不足。
• 开发一种通用、端到端可训练的神经网络，能够有效捕捉局部外观特征以及全局、高阶的空间-时间关系。
• 在统一图框架内对空间和时间处理进行分解，实现对动态视觉场景的高效且灵活建模。
• 在真实世界复杂的人机交互数据集（特别是Something-Something-v1）上验证模型的有效性。
• 通过消融研究验证设计选择的合理性，包括循环记忆状态的作用以及空间-时间分离处理的影响。

提出的方法

• 模型使用主干网络（如I3D）提取时空特征，随后输入到一个具有节点代表空间区域、边编码节点间时空消息传递的循环时空图中。
• 每个节点通过专用神经网络处理本地特征、来自邻近空间节点的消息以及自身的循环记忆状态，实现动态状态更新。
• 在每次迭代中，图交替进行空间处理和时间处理阶段，支持建立跨空间和时间的长程依赖关系。
• 提出两种变体：RSTG-to-vec，生成全局视频级嵌入；RSTG-to-map，每个时间步输出一个3D特征图，保持空间分辨率。
• 通过残差连接稳定训练过程，将图输出与主干网络特征相加，确保梯度流动并提升优化效果。
• 在视频分类任务上使用标准交叉熵损失进行端到端训练，数据增强方式包括随机裁剪和帧采样。

实验结果

研究问题

• RQ1 统一的图神经网络架构是否能通过独立的、循环处理阶段有效建模视频数据中的空间和时间依赖关系？
• RQ2 与联合或顺序建模相比，空间与时间处理的分解对性能有何影响？
• RQ3 在3D CNN主干网络的不同深度插入图模块，对下游识别准确率有何影响？
• RQ4 所提出的模型是否能在复杂真实世界人机交互数据集（如Something-Something-v1）上实现最先进性能？
• RQ5 在相似准确率条件下，RSTG模型的计算复杂度与Non-Local网络等现有方法相比如何？

主要发现

• 在I3D主干网络的res3和res4模块之后插入RSTG-to-map模型，在Something-Something-v1数据集上取得了最高性能，Top-1准确率达到49.2%。
• 使用2D ConvNet主干网络时，RSTG模型相比所有其他使用相同主干架构的方法，Top-1准确率提升超过8%。
• 当使用3D-ResNet-50主干网络时，RSTG模型在Top-1准确率上相比最佳已发表方法提升了3.1%。
• RSTG-to-vec变体在推理速度上优于Non-Local网络，同时保持更高准确率，展现出有利的效率-准确率权衡。
• 消融研究证实，空间与时间处理的分离以及循环记忆状态的使用对性能至关重要，任一组件的消融均导致准确率显著下降。
• 模型展现出强大的泛化能力，在多种主干网络插入位置均取得有竞争力的结果，最佳性能出现在中间层（res3和res4）插入图模块时。