[论文解读] Where and When to Look? Spatio-temporal Attention for Action Recognition in Videos

Lili Meng, Bo Zhao+4 more|arXiv (Cornell University)|Sep 27, 2018

Human Pose and Action Recognition参考文献 31被引用 8

一句话总结

本文提出了一种可分离的时空注意力机制，能够动态聚焦于视频中的显著空间区域和关键时间帧，用于动作识别。通过学习空间显著性掩码和带有一致性正则化的软性时间注意力，该模型仅使用视频级别标签，就在三个基准数据集上实现了最先进性能，包括 Moments in Time。

ABSTRACT

Inspired by the observation that humans are able to process videos efficiently by only paying attention when and where it is needed, we propose a novel spatial-temporal attention mechanism for video-based action recognition. For spatial attention, we learn a saliency mask to allow the model to focus on the most salient parts of the feature maps. For temporal attention, we employ a soft temporal attention mechanism to identify the most relevant frames from an input video. Further, we propose a set of regularizers that ensure that our attention mechanism attends to coherent regions in space and time. Our model is efficient, as it proposes a separable spatio-temporal mechanism for video attention, while being able to identify important parts of the video both spatially and temporally. We demonstrate the efficacy of our approach on three public video action recognition datasets. The proposed approach leads to state-of-the-art performance on all of them, including the new large-scale Moments in Time dataset. Furthermore, we quantitatively and qualitatively evaluate our model's ability to accurately localize discriminative regions spatially and critical frames temporally. This is despite our model only being trained with per video classification labels.

研究动机与目标

• 开发一种高效、端到端可训练的注意力机制，以识别视频中在空间上显著的区域和在时间上关键的帧，用于动作识别。
• 通过使模型能够在无边界框或帧级别标注的情况下定位判别性时空区域，解决视频级别监督的挑战。
• 通过新颖的正则化方法确保空间和时间上注意力的一致性，防止注意力图出现碎片化或不一致现象。
• 通过将计算资源集中于视频中最 informative 的部分，模仿人类视觉注意力机制，提升识别准确率。

提出的方法

• 该模型采用空间注意力机制，在特征图上生成可学习的显著性掩码，以突出最相关的空间区域。
• 应用软性时间注意力机制，基于其对动作分类的贡献，从输入视频序列中选择最具有信息量的帧。
• 注意力机制设计为可分离形式——空间注意力与时间注意力独立计算，但联合优化。
• 引入一致性正则化器，以在注意力图中强制实现空间和时间上的一致性，防止稀疏或不连贯的注意力区域。
• 整个架构通过仅使用视频级别分类标签进行端到端训练，无需帧级别或边界框标注。
• 该方法应用于主干卷积神经网络提取的视频特征，注意力机制在最终分类层之前应用。

实验结果

研究问题

• RQ1 统一且高效的注意力机制是否能够仅使用视频级别标签，有效定位视频中在空间上显著的区域和在时间上关键的帧？
• RQ2 在标准基准上，所提出的时空注意力机制与现有注意力机制相比，在准确率和定位保真度方面表现如何？
• RQ3 在缺乏强监督的情况下，所提出的正则化器在多大程度上提升了注意力的一致性和泛化能力？
• RQ4 在弱监督设置下，该模型是否在大规模、多样化的数据集（如 Moments in Time）上实现了最先进性能？
• RQ5 即使没有显式的定位标注，该模型是否仍能准确地定位判别性区域和帧？

主要发现

• 所提出的方法在三个公开的视频动作识别数据集上实现了最先进性能，包括大规模的 Moments in Time 数据集。
• 尽管仅使用视频级别标签进行训练，该模型仍能以高精度定位判别性空间区域和关键时间帧。
• 注意力机制成功识别出连贯且有意义的时空区域，该结果通过定量和定性分析均得到验证。
• 使用一致性正则化器显著提升了注意力图质量，减少了碎片化或噪声化的注意力模式。
• 可分离的时空注意力机制在保持高效率的同时，优于采用更复杂注意力设计的模型。
• 该模型在弱监督下对多样化的动作类别和视频分布表现出强大的泛化能力。