[论文解读] SA-CNN: Dynamic Scene Classification using Convolutional Neural Networks

Aalok Gangopadhyay, Shivam Mani Tripathi+2 more|arXiv (Cornell University)|Feb 17, 2015

Video Analysis and Summarization参考文献 25被引用 9

一句话总结

本文提出SA-CNN，一种动态场景分类方法，利用预训练卷积神经网络（CNN）从多个视频帧中提取空间特征，再通过统计聚合（SA）技术建模时间变化。该方法实现了最先进性能，在马里兰数据集上准确率提升16.16%，在耶鲁宾大学数据集上提升1.66%，尤其在相机运动剧烈的挑战性条件下表现优异。

ABSTRACT

The task of classifying videos of natural dynamic scenes into appropriate classes has gained lot of attention in recent years. The problem especially becomes challenging when the camera used to capture the video is dynamic. In this paper, we analyse the performance of statistical aggregation (SA) techniques on various pre-trained convolutional neural network(CNN) models to address this problem. The proposed approach works by extracting CNN activation features for a number of frames in a video and then uses an aggregation scheme in order to obtain a robust feature descriptor for the video. We show through results that the proposed approach performs better than the-state-of-the arts for the Maryland and YUPenn dataset. The final descriptor obtained is powerful enough to distinguish among dynamic scenes and is even capable of addressing the scenario where the camera motion is dominant and the scene dynamics are complex. Further, this paper shows an extensive study on the performance of various aggregation methods and their combinations. We compare the proposed approach with other dynamic scene classification algorithms on two publicly available datasets - Maryland and YUPenn to demonstrate the superior performance of the proposed approach.

研究动机与目标

• 解决由移动相机拍摄的自然动态场景视频分类挑战，其中相机运动增加了场景理解的难度。
• 通过帧级特征的统计聚合建模视频序列中的时间动态，克服静态图像CNN方法的局限性。
• 在不从零开始训练新CNN架构的前提下，提升动态场景分类的鲁棒性与准确率。
• 证明混合预训练模型（ImageNet + Places）在动态场景识别中优于单一数据集预训练模型。
• 建立一种计算高效的框架，在基准数据集上超越现有时空方法（如BoSE和C3D）的性能。

提出的方法

• 通过Caffe框架使用预训练模型（AlexNet、Places、混合Places）从视频的多个帧中提取深度CNN特征。
• 对帧级特征应用统计聚合（SA）技术，如均值、标准差、偏度和峰度，以建模时间演化过程。
• 通过空间与时间统计的后期融合，构建能同时捕捉外观与运动动态的鲁棒视频级描述符。
• 评估不同的池化策略与聚合方法，以识别最优组合用于动态场景分类。
• 在聚合后的描述符上训练简单的线性分类器（如SVM或softmax），实现最终的视频类别预测。
• 利用现成的预训练CNN避免昂贵的端到端视频训练，转而聚焦于特征聚合与分类。

实验结果

研究问题

• RQ1 与单帧或局部特征方法相比，对多个视频帧的CNN特征进行统计聚合是否能提升动态场景分类的准确率？
• RQ2 预训练CNN模型的选择（ImageNet、Places、混合）对动态场景分类任务性能有何影响？
• RQ3 统计聚合方法在多大程度上能够处理视频中强烈的相机运动与复杂的场景动态？
• RQ4 将空间特征与其时间统计相结合，是否能生成比仅使用空间特征更具判别力的视频级表征？
• RQ5 在标准基准测试中，该方法与最先进方法（如BoSE和C3D）相比，在准确率与鲁棒性方面表现如何？

主要发现

• 所提出的SA-CNN方法在马里兰数据集上相比之前最先进方法准确率提升16.16%，显著优于BoSE和C3D。
• 在耶鲁宾大学数据集上，该方法相比最先进方法准确率提升1.66%，并在十四种类别中的九种类别上实现完美分类。
• 混合预训练CNN模型（ImageNet与Places的组合）优于仅在任一数据集上训练的模型，表明特征学习具有互补性。
• 跨帧特征的统计聚合降低了分类不确定性，尤其在帧选择任意或存在噪声时效果更明显。
• 该方法对相机运动表现出高度鲁棒性，在存在显著抖动与动态相机移动的视频中仍保持强劲性能。
• CNN特征的时间统计量（均值、方差、偏度、峰度）具有高度判别性，因为相似类别表现出相似的时间演化模式。