[论文解读] Two-stream Flow-guided Convolutional Attention Networks for Action Recognition

An V. Tran, Loong‐Fah Cheong|arXiv (Cornell University)|Aug 30, 2017

Human Pose and Action Recognition参考文献 16被引用 8

一句话总结

该论文提出了一种双流流引导卷积注意力网络（FCAN），通过使用补偿后的光流来引导空间流CNN聚焦于人体前景，从而提升动作识别性能。通过引入跨连接层，利用逐元素乘法操作将光流导出的注意力图应用于网络，该模型在UCF101（92.0%）、HMDB51（66.7%）和Hollywood2（71.1%）上实现了最先进性能，并提升了对背景杂波的鲁棒性。

ABSTRACT

This paper proposes a two-stream flow-guided convolutional attention networks for action recognition in videos. The central idea is that optical flows, when properly compensated for the camera motion, can be used to guide attention to the human foreground. We thus develop cross-link layers from the temporal network (trained on flows) to the spatial network (trained on RGB frames). These cross-link layers guide the spatial-stream to pay more attention to the human foreground areas and be less affected by background clutter. We obtain promising performances with our approach on the UCF101, HMDB51 and Hollywood2 datasets.

研究动机与目标

• 为解决在RGB视频帧上训练的空间流CNN中，背景杂波主导特征激活的问题。
• 利用光流固有的运动敏感性——尤其是经过相机运动补偿后——来引导注意力聚焦于人体动作。
• 通过将时间运动线索显式建模为注意力图来提升双流动作识别性能，用于空间流。
• 证明即使在更简单的3D-CNN架构下，流引导注意力依然有效，优于循环注意力机制。

提出的方法

• 从时间流（在补偿光流上训练）向空间流（在RGB帧上训练）引入跨连接层，以注入基于运动的注意力。
• 每个跨连接层先通过1x1卷积降低光流特征的通道维度，随后进行批归一化和Sigmoid激活，生成注意力图。
• 利用注意力图对空间流的特征图执行逐元素乘法，突出人体前景区域。
• 最终预测通过融合空间流和时间流输出的晚期融合策略实现，以保留时空结构。
• 在两个流中均采用3D卷积网络（C3D）以有效建模时空特征。
• 采用多尺度训练策略和数据增强以提升泛化能力，模型在Caffe中进行训练。

实验结果

研究问题

• RQ1 补偿后的光流能否作为有效的注意力机制，引导空间流CNN聚焦于人体动作？
• RQ2 与VideoLSTM等循环注意力机制相比，流引导注意力在动作识别中的表现如何？
• RQ3 在双流网络中，实现有效注意力引导的最优跨连接层数量是多少？
• RQ4 对HMDB51和Hollywood2等挑战性数据集，显式流引导注意力是否能提升性能？
• RQ5 当空间流使用标准3D-CNN架构时，流引导注意力是否仍能提升性能？

主要发现

• 所提出的双流FCAN在UCF101上达到92.0%的准确率，比原始双流2D-CNN高出4.0%，比IDT+FV高出6.1%。
• 在HMDB51上，模型达到66.7%的准确率，比原始双流2D-CNN高出7.3%，比软注意力模型（41.3%）高出25.4%。
• 在Hollywood2数据集上，模型达到71.1%的新最先进结果，展现出强大的泛化能力。
• 将四个FCAN模型进行模型融合后，在UCF101上性能提升至93.4%，在HMDB51上达到68.2%，表明模型间具有良好的互补性。
• 可视化结果证实，来自补偿光流的注意力图能有效突出人体轮廓和运动区域，尤其在复杂场景中表现显著。
• 模型在使用一到两层跨连接层时表现最佳，表明超过此范围后收益递减。