[论文解读] Temporal Distinct Representation Learning for Action Recognition

Junwu Weng, Donghao Luo+7 more|arXiv (Cornell University)|Jul 15, 2020

Human Pose and Action Recognition参考文献 34被引用 7

一句话总结

本文提出一种基于2D-CNN的行动识别方法，通过引入渐进增强模块（PEM）自适应地突出具有区分性的通道，并通过时间多样性损失（TD Loss）鼓励卷积核捕捉帧间差异，从而解决视频帧间冗余特征提取的问题。该方法在Something-Something V1上实现2.4%的准确率提升，在V2上实现1.3%的提升，在Kinetics400上也保持一致的性能增益。

ABSTRACT

Motivated by the previous success of Two-Dimensional Convolutional Neural Network (2D CNN) on image recognition, researchers endeavor to leverage it to characterize videos. However, one limitation of applying 2D CNN to analyze videos is that different frames of a video share the same 2D CNN kernels, which may result in repeated and redundant information utilization, especially in the spatial semantics extraction process, hence neglecting the critical variations among frames. In this paper, we attempt to tackle this issue through two ways. 1) Design a sequential channel filtering mechanism, i.e., Progressive Enhancement Module (PEM), to excite the discriminative channels of features from different frames step by step, and thus avoid repeated information extraction. 2) Create a Temporal Diversity Loss (TD Loss) to force the kernels to concentrate on and capture the variations among frames rather than the image regions with similar appearance. Our method is evaluated on benchmark temporal reasoning datasets Something-Something V1 and V2, and it achieves visible improvements over the best competitor by 2.4% and 1.3%, respectively. Besides, performance improvements over the 2D-CNN-based state-of-the-arts on the large-scale dataset Kinetics are also witnessed.

研究动机与目标

• 为解决2D-CNN在处理视频帧时因共享卷积核导致的冗余特征提取问题，即相似语义通道被重复激活。
• 通过显式利用帧序信息并增强与运动相关的特征，改进2D-CNN的时间建模能力。
• 通过促进帧间特征表示的多样性，减少对静态场景或背景特征的过拟合。
• 在显著提升基准数据集上动作识别准确率的同时，保持计算效率。

提出的方法

• 提出渐进增强模块（PEM），根据前序帧的运动历史按顺序增强特征通道，以抑制冗余的重复通道。
• 采用时间多样性损失（TD Loss），通过最小化不同帧间相同特征通道之间的成对余弦相似度，鼓励卷积核关注帧间差异。
• 将TD Loss置于时间建模模块之后，以正则化卷积核，确保特征融合后生成多样化且具有区分性的表示。
• 采用双流结构，先进行帧级特征提取，再进行时间融合，其中PEM在时间建模前处理特征。
• 在训练过程中将TD Loss作为正则化项引入，不增加推理开销，从而保持模型效率。
• 引入可学习的权重因子λ，平衡TD Loss与主分类损失，证明在多种λ值下均具有鲁棒性。

实验结果

研究问题

• RQ1 序列化通道过滤机制是否能提升2D-CNN在视频帧中区分运动相关特征与冗余背景特征的能力？
• RQ2 通过新型损失函数强制实现帧间表示多样性，是否能在不增加模型复杂度的前提下提升动作识别性能？
• RQ3 将运动历史整合到特征增强中，对动作视频中时间差异的判别能力有何影响？
• RQ4 所提方法在多大程度上减少了动作识别任务中对静态场景特征的过拟合？
• RQ5 所提方法对超参数选择是否具有鲁棒性，特别是损失平衡因子λ？

主要发现

• 在8帧设置下，该方法在Something-Something V1上的准确率相比最佳基线提升2.4%。
• 在Something-Something V2上，相比最强基线，性能提升1.3%。
• 仅使用渐进增强模块（PEM）在Something-Something V1上即可实现2.6%的准确率提升，证明其在过滤冗余特征方面的有效性。
• 时间多样性损失（TD Loss）在Something-Something V1上贡献了2.3%的准确率增益，证实其在促进帧间表示多样性方面的关键作用。
• TD Loss对超参数变化具有鲁棒性，λ值在不同取值下准确率波动不超过0.6%，表明优化过程稳定。
• 可视化结果表明，PEM能增强与运动相关的通道并抑制静态背景通道，而TD Loss通过强调帧间差异改善了时间建模。