[论文解读] Temporal-attentive Covariance Pooling Networks for Video Recognition

Zilin Gao, Qilong Wang+3 more|arXiv (Cornell University)|Oct 27, 2021

Human Pose and Action Recognition被引用 10

一句话总结

本文提出时序注意力协方差池化（TCP），一种新颖的全局池化方法，通过时序注意力模块和时序协方差池化建模时空动态，并结合矩阵幂归一化，显著提升视频识别性能。TCP在六个基准测试中显著优于全局平均池化和现有协方差池化方法，展现出更优的表征学习与泛化能力。

ABSTRACT

For video recognition task, a global representation summarizing the whole contents of the video snippets plays an important role for the final performance. However, existing video architectures usually generate it by using a simple, global average pooling (GAP) method, which has limited ability to capture complex dynamics of videos. For image recognition task, there exist evidences showing that covariance pooling has stronger representation ability than GAP. Unfortunately, such plain covariance pooling used in image recognition is an orderless representative, which cannot model spatio-temporal structure inherent in videos. Therefore, this paper proposes a Temporal-attentive Covariance Pooling(TCP), inserted at the end of deep architectures, to produce powerful video representations. Specifically, our TCP first develops a temporal attention module to adaptively calibrate spatio-temporal features for the succeeding covariance pooling, approximatively producing attentive covariance representations. Then, a temporal covariance pooling performs temporal pooling of the attentive covariance representations to characterize both intra-frame correlations and inter-frame cross-correlations of the calibrated features. As such, the proposed TCP can capture complex temporal dynamics. Finally, a fast matrix power normalization is introduced to exploit geometry of covariance representations. Note that our TCP is model-agnostic and can be flexibly integrated into any video architectures, resulting in TCPNet for effective video recognition. The extensive experiments on six benchmarks (e.g., Kinetics, Something-Something V1 and Charades) using various video architectures show our TCPNet is clearly superior to its counterparts, while having strong generalization ability. The source code is publicly available.

研究动机与目标

• 解决全局平均池化（GAP）在捕捉视频识别中复杂时序动态方面的局限性。
• 克服普通协方差池化方法忽略时序顺序、无法建模视频特有时空结构的不足。
• 开发一种与模型无关、高效的全局池化机制，可在不改变网络架构的前提下增强深度视频模型。
• 利用二阶统计量与协方差表示的几何特性，提升视频表征学习能力。
• 在多种视频识别架构与数据集上，验证所提方法的泛化性与优越性。

提出的方法

• 引入时序注意力模块，通过建模连续三帧之间的关系，自适应校准时空特征。
• 应用时序协方差池化，以时序一致的方式计算帧内相关性与帧间交叉相关性。
• 集成快速矩阵幂归一化，以利用协方差矩阵的几何结构，提升表征学习效果。
• 设计TCP模块为即插即用形式，可无缝集成至任意现有视频识别架构中。
• 结合时序注意力与协方差池化组件，生成具有注意力机制与几何感知能力的视频级表征。
• 将TCP模块作为深层网络末端全局平均池化的替代方案，构建TCPNet框架。

实验结果

研究问题

• RQ1 基于协方差的池化方法能否有效建模视频中的复杂时序动态，超越全局平均池化？
• RQ2 引入时序注意力如何提升视频识别中协方差表征的质量？
• RQ3 协方差矩阵的几何特性在多大程度上促进了视频表征学习的改进？
• RQ4 所提出的TCP模块是否能在不同视频架构与基准上实现良好泛化？
• RQ5 与强基线（如带矩阵幂归一化的普通全局协方差池化）相比，所提TCP表现如何？

主要发现

• TCPNet在六个视频识别基准上实现最先进性能，包括Kinetics、Something-Something V1和Charades。
• 在K-400数据集上，当使用TSN+R152时，TCPNet相比GAP提升2.2%准确率，相比强基线（带矩阵幂归一化的普通全局协方差池化）提升1.1%准确率。
• 时序协方差池化的最优核尺寸为：8帧输入时为5，16帧输入时为9，更大核尺寸会导致性能下降，原因包括噪声增加与计算量上升。
• 所提出的时序注意力模块（TSA）相比非局部块（Non-local blocks）实现0.5%更高的准确率，同时仅消耗16%的FLOPs（0.16 GFLOPs vs. 0.7 GFLOPs）。
• 时序注意力模块相比SE模块在准确率上提升0.5%，验证其在建模时序依赖关系方面的有效性。
• TCPNet始终优于所有基线方法，包括TLE与普通协方差池化，证明其在捕捉复杂时序动态与特征几何结构方面的优越性。