[论文解读] Video Classification with FineCoarse Networks.

Guoxi Huang, Adrian G. Borş|arXiv (Cornell University)|Mar 29, 2021

Human Pose and Action Recognition参考文献 56被引用 6

一句话总结

本文提出FineCoarse网络，通过运动带通模块（MBPM）将细粒度运动细节与粗粒度视频内容分离，利用低分辨率特征路径实现高效处理。该方法在Something-Something V1上实现了57.0%的top-1准确率，达到最先进水平，且在Kinetics400、UCF101和HMDB51上优于近期模型。

ABSTRACT

A rich representation of the information in video data can be realized by means of frequency analysis. Fine motion details from the boundaries of moving regions are characterized by high frequencies in the spatio-temporal domain. Meanwhile, lower frequencies are encoded with coarse information containing substantial redundancy, which causes low efficiency for those video models that take as input raw RGB frames. In this work, we propose a Motion Band-pass Module (MBPM) for separating the fine-grained information from coarse information in raw video data. By representing the coarse information with low resolution, we can increase the efficiency of video data processing. By embedding the MBPM into a two-pathway CNN architecture, we define a FineCoarse network. The efficiency of the FineCoarse network is determined by avoiding the redundancy in the feature space processed by the two pathways: one operates on downsampled features of low-resolution data, while the other operates on the fine-grained motion information captured by the MBPM. The proposed FineCoarse network outperforms many recent video processing models on Kinetics400, UCF101 and HMDB51. Furthermore, our approach achieves the state-of-the-art with 57.0% top-1 accuracy on Something-Something V1.

研究动机与目标

• 解决视频模型在原始RGB帧中处理冗余粗粒度信息导致的效率低下问题。
• 通过频域分析分离细粒度运动细节，提升视频分类准确率。
• 通过下采样粗粒度特征，在保留对运动敏感的高频分量的同时提升处理效率。
• 设计双路径卷积神经网络架构，联合处理细粒度与粗粒度表征以提升性能。
• 在多个基准视频数据集（包括Something-Something V1）上实现最先进结果。

提出的方法

• 运动带通模块（MBPM）从原始视频帧中分离出代表细粒度运动细节的高频时空分量。
• 通过低分辨率下采样特征表示粗粒度信息，以减少计算冗余。
• 采用双路径卷积神经网络架构并行处理细粒度运动特征与粗粒度特征。
• 细粒度路径处理由MBPM提取的高频分量，而粗粒度路径使用下采样后的低分辨率输入。
• 在路径处理后进行特征融合，整合互补信息以完成最终分类。
• 在网络标准视频基准数据集上使用标准优化协议进行端到端训练。

实验结果

研究问题

• RQ1 将细粒度运动细节与粗粒度视频内容分离，能否提升视频分类的效率与准确率？
• RQ2 粗粒度特征的低分辨率表示在多大程度上减少了视频特征空间中的冗余？
• RQ3 与标准卷积操作相比，MBPM在多大程度上提升了对运动的敏感性？
• RQ4 采用对细粒度与粗粒度特征进行独立处理的双路径设计，是否能在标准基准上带来性能提升？
• RQ5 该方法能否在Something-Something V1等具有挑战性的视频数据集上实现最先进性能？

主要发现

• FineCoarse网络在Something-Something V1上实现了57.0%的top-1准确率，创下新最先进水平。
• 该模型在Kinetics400、UCF101和HMDB51上优于多个近期视频分类架构。
• MBPM能有效分离高频运动细节，提升对细粒度运动模式的敏感性。
• 对粗粒度特征进行下采样显著减少了计算冗余，且未牺牲准确率。
• 双路径设计通过解耦细粒度与粗粒度特征学习，实现了高效处理。
• 该方法在多样化的视频动作识别基准上展现出强大的泛化能力。