[论文解读] Relational Long Short-Term Memory for Video Action Recognition

Zexi Chen, Bharathkumar Ramachandra+2 more|arXiv (Cornell University)|Nov 16, 2018

Human Pose and Action Recognition参考文献 54被引用 7

一句话总结

该论文提出了一种关系型长短期记忆（LSTM）网络，将非局部操作整合到LSTM架构中，以建模视频中物体之间的长距离和短距离时空关系。通过将关系型LSTM与局部时空池化分支结合，该方法在基于LSTM的模型中实现了最先进性能，在大规模Charades数据集上相比之前方法提升了3.2%，证明了其在建模物体交互和长期轨迹方面的优越性。

ABSTRACT

Spatial and temporal relationships, both short-range and long-range, between objects in videos, are key cues for recognizing actions. It is a challenging problem to model them jointly. In this paper, we first present a new variant of Long Short-Term Memory, namely Relational LSTM, to address the challenge of relation reasoning across space and time between objects. In our Relational LSTM module, we utilize a non-local operation similar in spirit to the recently proposed non-local network to substitute the fully connected operation in the vanilla LSTM. By doing this, our Relational LSTM is capable of capturing long and short-range spatio-temporal relations between objects in videos in a principled way. Then, we propose a two-branch neural architecture consisting of the Relational LSTM module as the non-local branch and a spatio-temporal pooling based local branch. The local branch is utilized for capturing local spatial appearance and/or short-term motion features. The two branches are concatenated to learn video-level features from snippet-level ones which are then used for classification. Experimental results on UCF-101 and HMDB-51 datasets show that our model achieves state-of-the-art results among LSTM-based methods, while obtaining comparable performance with other state-of-the-art methods (which use not directly comparable schema). Further, on the more complex large-scale Charades dataset, we obtain a large 3.2% gain over state-of-the-art methods, verifying the effectiveness of our method in complex understanding.

研究动机与目标

• 为解决在视频中联合建模物体之间短距离和长距离时空关系以实现动作识别的挑战。
• 通过引入非局部操作，改进基于LSTM的视频动作识别，以捕捉跨空间和时间的关联依赖。
• 设计一种双分支架构，结合全局关系推理（通过关系型LSTM）与局部特征学习，以获得鲁棒的视频级表征。
• 在基于LSTM的方法中实现最先进性能，并在基准数据集上与非LSTM最先进方法保持竞争力。
• 在需要细粒度时空推理的复杂、大规模数据集上验证所提方法的有效性。

提出的方法

• 关系型LSTM用受非局部网络启发的非局部操作替代原始LSTM中的全连接操作，使模型能够在时空所有特征图上实现类似注意力的计算。
• 非局部操作通过相似性函数对所有位置的特征进行加权求和，使模型能够捕捉长距离依赖，而无需假设局部性。
• 提出一种双分支神经网络架构：一个分支使用关系型LSTM进行全局关系推理，另一个分支使用时空池化提取局部外观和运动特征。
• 将两个分支的输出拼接，形成统一的视频级表征，再通过最终分类头进行分类。
• 使用交叉熵损失进行端到端训练，在UCF-101和HMDB-51上采用空间与时间流的晚期融合，在Charades上仅使用RGB输入。
• 在UCF-101、HMDB-51和Charades上进行评估，采用标准协议和指标，包括top-1准确率和mAP。

实验结果

研究问题

• RQ1 经过修改的LSTM架构能否有效建模视频动作中物体之间的短距离和长距离时空关系？
• RQ2 与标准LSTM或2D/3D CNN相比，将非局部操作集成到LSTM中如何提升关系推理能力以用于动作识别？
• RQ3 所提出的双分支架构（结合关系推理与局部特征学习）是否优于独立的LSTM或基于CNN的模型？
• RQ4 关系型LSTM在复杂视频动作中捕捉长期轨迹和物体交互特征的能力有多强？
• RQ5 该方法能否在大规模数据集（如Charades）上实现与非LSTM最先进模型相媲美的性能？

主要发现

• 在UCF-101数据集上，该方法达到94.8%的top-1准确率，优于所有先前的基于LSTM的方法，并与最佳非LSTM模型持平。
• 在HMDB-51数据集上，该方法达到71.4%的top-1准确率，显示出在更具挑战性、多样化的动作识别基准上的强大性能。
• 在大规模的Charades数据集上，该方法达到28.8%的mAP，相比之前最先进方法绝对提升了3.2%，凸显其在复杂、多对象、长序列动作理解中的有效性。
• 消融实验表明，关系型LSTM模块显著提升了性能，尤其在建模长距离依赖和物体交互方面。
• 该模型在基于LSTM的方法中达到最先进结果，并且即使仅使用RGB输入在Charades上，其性能也与非LSTM最先进模型相当。
• 该方法训练简单且泛化能力强，如在多个数据集和评估协议上均表现出一致的性能提升所示。