[论文解读] Pooling the Convolutional Layers in Deep ConvNets for Action Recognition

Shichao Zhao, Yanbin Liu+2 more|arXiv (Cornell University)|Nov 6, 2015

Human Pose and Action Recognition参考文献 35被引用 7

一句话总结

本文提出了一种新颖的框架，通过从深度卷积神经网络中池化特征来实现动作识别——具体而言，使用VGGNet提取空间特征，使用Two-Stream ConvNets提取运动特征，并采用两种时间池化策略：轨迹池化和线性池化。该方法通过VLAD编码实现有效的时序编码，从而在UCF101上达到93.78%的最先进准确率，在HMDB51上达到65.62%。

ABSTRACT

Deep ConvNets have shown its good performance in image classification tasks. However it still remains as a problem in deep video representation for action recognition. The problem comes from two aspects: on one hand, current video ConvNets are relatively shallow compared with image ConvNets, which limits its capability of capturing the complex video action information; on the other hand, temporal information of videos is not properly utilized to pool and encode the video sequences. Towards these issues, in this paper, we utilize two state-of-the-art ConvNets, i.e., the very deep spatial net (VGGNet) and the temporal net from Two-Stream ConvNets, for action representation. The convolutional layers and the proposed new layer, called frame-diff layer, are extracted and pooled with two temporal pooling strategy: Trajectory pooling and line pooling. The pooled local descriptors are then encoded with VLAD to form the video representations. In order to verify the effectiveness of the proposed framework, we conduct experiments on UCF101 and HMDB51 datasets. It achieves the accuracy of 93.78\% on UCF101 which is the state-of-the-art and the accuracy of 65.62\% on HMDB51 which is comparable to the state-of-the-art.

研究动机与目标

• 为解决浅层视频ConvNets在捕捉复杂时空动作模式方面的局限性。
• 通过设计有效的池化策略，提升深层视频表征中时间信息的利用效率。
• 利用极深网络（如VGGNet）和光流流，实现更丰富的特征提取。
• 在标准基准上超越现有方法，包括手工设计特征和先前的深度学习方法。

提出的方法

• 该框架使用VGGNet作为空间流，使用Two-Stream ConvNets的光流流，从中间卷积层提取特征。
• 引入一种新颖的帧差层，通过计算连续帧之间的像素级差异来增强运动表征。
• 提出两种时间池化策略：轨迹池化，沿运动轨迹对齐特征；线性池化，沿时间线进行池化。
• 使用学习的码书对来自多个层（如Conv5和Diff5）的池化特征进行VLAD编码，生成最终的视频表征。
• 通过消融研究指导的层选择策略，将空间流和时间流的特征进行融合。
• 在池化后应用VLAD编码，将局部描述子聚合为紧凑的全局视频表征。

实验结果

研究问题

• RQ1 当标准视频网络相对较浅时，如何有效利用更深的ConvNets进行视频动作识别？
• RQ2 与平均池化相比，哪些池化策略能更好地利用视频序列中的时间变化？
• RQ3 帧差特征的集成能否提升深度视频模型中的运动表征？
• RQ4 所提出的池化策略与TDD和iDT等现有方法相比，在准确率和效率方面表现如何？

主要发现

• 所提出的轨迹池化策略在UCF101上实现了93.78%的准确率，创下新的最先进性能记录。
• 线性池化策略在UCF101上实现了90.55%的准确率，与TDD（90.3%）相当，并优于原始Two-Stream ConvNets（88.0%）。
• 在HMDB51上，该方法实现了65.62%的准确率，优于原始Two-Stream ConvNets（59.4%），并与TDD（63.2%）性能相当。
• 与TDD相比，轨迹池化使性能提升超过2%，证明了所提出的层选择与池化设计的有效性。
• 帧差层与更深卷积特征的集成显著增强了运动表征与整体准确率。
• 在UCF101上，该方法比iDT-based方法高出5%，在HMDB51上高出4%，显示出深度学习相比手工特征的优越性。