[论文解读] Order-aware Convolutional Pooling for Video Based Action Recognition

Peng Wang, Lingqiao Liu+2 more|arXiv (Cornell University)|Jan 31, 2016

Human Pose and Action Recognition参考文献 30被引用 4

一句话总结

本文提出了一种顺序感知的卷积池化方法，这是一种新颖的时间池化方法，通过在每个特征维度的时间演化上应用可学习的一维卷积滤波器，捕捉视频动作识别中的动态时间信息，以极小的参数增长显著优于传统的池化方法。在HMDB51和UCF101数据集上，分别实现了64.1%和89.6%的准确率，超越了最先进方法的同时保持了计算效率。

ABSTRACT

Most video based action recognition approaches create the video-level representation by temporally pooling the features extracted at each frame. The pooling methods that they adopt, however, usually completely or partially neglect the dynamic information contained in the temporal domain, which may undermine the discriminative power of the resulting video representation since the video sequence order could unveil the evolution of a specific event or action. To overcome this drawback and explore the importance of incorporating the temporal order information, in this paper we propose a novel temporal pooling approach to aggregate the frame-level features. Inspired by the capacity of Convolutional Neural Networks (CNN) in making use of the internal structure of images for information abstraction, we propose to apply the temporal convolution operation to the frame-level representations to extract the dynamic information. However, directly implementing this idea on the original high-dimensional feature would inevitably result in parameter explosion. To tackle this problem, we view the temporal evolution of the feature value at each feature dimension as a 1D signal and learn a unique convolutional filter bank for each of these 1D signals. We conduct experiments on two challenging video-based action recognition datasets, HMDB51 and UCF101; and demonstrate that the proposed method is superior to the conventional pooling methods.

研究动机与目标

• 为解决传统时间池化方法（如平均池化或最大池化）忽略帧顺序、从而在视频动作识别中丢失动态时间信息的局限性。
• 开发一种参数高效的模型，以捕捉高维特征空间中帧级特征的局部时间模式，同时避免参数爆炸。
• 通过将每个特征维度的时间演化建模为一维信号，并应用有监督的滤波器组检测判别性模式，提升视频级表征学习。
• 证明学习顺序感知表征相比标准池化和最先进方法在标准基准上具有更优性能。

提出的方法

• 该方法将每个帧级特征维度的时间演化视为一维信号，通过专用的卷积滤波器组实现局部时间模式检测。
• 为每个特征维度学习一组独特的1D卷积滤波器，用作时间序列中局部动态模式的检测器。
• 通过标准时间池化（如平均池化或最大池化）对所有维度的滤波器响应进行聚合，形成最终的视频级表征。
• 采用端到端学习方式，使用线性SVM进行分类，以监督方式训练模型。
• 通过在每个特征维度上独立操作而非对完整的高维特征张量应用3D卷积，避免了参数爆炸。
• 通过L2归一化和拼接融合外观特征与运动特征，然后对联合表征应用顺序感知池化。

实验结果

研究问题

• RQ1 通过可学习的一维卷积对单个特征维度的时间演化进行建模，是否能超越标准池化方法，提升视频动作识别性能？
• RQ2 所提出的顺序感知卷积池化方法在标准视频动作识别基准上，与传统池化方法和最先进方法相比表现如何？
• RQ3 该方法是否从外观与运动特征的结合中获益？其与IDT等无监督池化策略的互补性如何？
• RQ4 每个维度的滤波器数量在多大程度上影响性能与泛化能力？
• RQ5 该方法能否泛化到视频动作识别之外的时间序列任务，如文本分类？

主要发现

• 在HMDB51数据集上，所提方法达到64.1%的准确率，比基线方法（CNN + 全局运动池化）高出1.6个百分点，比第二好的方法（堆叠Fisher向量）高出2.7个百分点。
• 在UCF101数据集上，方法准确率达到89.6%，优于最先进方法Deep Net（88.6%）1.0个百分点，优于两流ConvNet（88.0%）1.6个百分点。
• 当与无监督全局运动池化结合时，该方法在UCF101上的性能提升至89.6%，表明有监督与无监督表征之间具有强互补性。
• 在UCF101上，使用外观与运动特征融合后性能提升0.9%，在HMDB51上提升1.6%，证明了其在多模态特征融合中的有效性。
• 消融实验表明，增加滤波器数量可提升性能，且在较高滤波器数量时获得最优增益，验证了方法的可扩展性与学习能力。
• 与LRCN（68.2%）和空间-时间CNN（63.3%）相比，该方法取得了更优结果，证明其在面对具有循环结构或3D卷积的深度学习模型时仍具有效性。