[论文解读] Transferring Object-Scene Convolutional Neural Networks for Event Recognition in Still Images

Limin Wang, Zhe Wang+2 more|arXiv (Cornell University)|Sep 1, 2016

Human Pose and Action Recognition参考文献 2被引用 3

一句话总结

该论文提出OS2E-CNN，一种新颖的迁移学习框架，利用预训练的物体和场景卷积神经网络，以提升静态图像中的事件识别性能。通过在多任务学习框架中应用基于初始化、基于知识和基于数据的迁移技术，该方法在三个基准数据集上实现了最先进（SOTA）的性能，在ChaLearn数据集上的表现优于先前方法约11%。

ABSTRACT

Event recognition in still images is an intriguing problem and has potential for real applications. This paper addresses the problem of event recognition by proposing a convolutional neural network that exploits knowledge of objects and scenes for event classification (OS2E-CNN). Intuitively, it stands to reason that there exists a correlation among the concepts of objects, scenes, and events. We empirically demonstrate that the recognition of objects and scenes substantially contributes to the recognition of events. Meanwhile, we propose an iterative selection method to identify a subset of object and scene classes, which help to more efficiently and effectively transfer their deep representations to event recognition. Specifically, we develop three types of transferring techniques: (1) initialization-based transferring, (2) knowledge-based transferring, and (3) data-based transferring. These newly designed transferring techniques exploit multi-task learning frameworks to incorporate extra knowledge from other networks and additional datasets into the training procedure of event CNNs. These multi-task learning frameworks turn out to be effective in reducing the effect of over-fitting and improving the generalization ability of the learned CNNs. With OS2E-CNN, we design a multi-ratio and multi-scale cropping strategy, and propose an end-to-end event recognition pipeline. We perform experiments on three event recognition benchmarks: the ChaLearn Cultural Event Recognition dataset, the Web Image Dataset for Event Recognition (WIDER), and the UIUC Sports Event dataset. The experimental results show that our proposed algorithm successfully adapts object and scene representations towards the event dataset and that it achieves the current state-of-the-art performance on these challenging datasets.

研究动机与目标

• 探究物体、场景与事件之间的语义相关性，以提升静态图像中的事件识别性能。
• 通过从大规模物体和场景数据集迁移深度表征，解决事件识别中训练数据有限的挑战。
• 开发有效的迁移学习技术，以减少过拟合并提升事件识别的泛化能力。
• 识别出对事件分类最具支持力的判别性物体和场景类别子集。
• 设计一个端到端的事件识别流程，结合多比例和多尺度裁剪策略，以增强特征学习。

提出的方法

• 提出OS2E-CNN，一种深度CNN架构，整合预训练的物体和场景特征以实现事件识别。
• 引入三种迁移技术：(1) 基于初始化的迁移，使用预训练的物体和场景网络权重；(2) 基于知识的迁移，通过引入辅助物体和场景分类头的多任务学习；(3) 基于数据的迁移，通过在额外的ImageNet和Places205数据上微调实现。
• 采用迭代选择方法，识别出对事件识别具有高判别能力的物体和场景类别子集。
• 在训练过程中采用多比例和多尺度裁剪策略，以增强特征的鲁棒性和空间覆盖范围。
• 应用多任务学习框架，联合优化事件识别与辅助的物体和场景分类任务，提升泛化能力。
• 设计一个端到端的训练流程，集成迁移学习与数据增强技术，以提升性能。

实验结果

研究问题

• RQ1 物体和场景表征与事件识别之间存在怎样的相关性？哪些特定的物体和场景类别对事件分类最具信息量？
• RQ2 从预训练的物体和场景模型中迁移知识，是否能显著提升小规模数据集上的事件识别性能？
• RQ3 在性能和泛化能力方面，基于初始化、基于知识和基于数据的迁移技术之间有何差异？
• RQ4 多任务学习框架在多大程度上能减少过拟合并提升事件识别的泛化能力？
• RQ5 统一框架能否有效利用物体、场景与事件之间的层次化语义关系，以提升识别性能？

主要发现

• 所提方法在ChaLearn文化事件识别数据集上实现了最先进性能，top-1准确率相比先前SOTA提升约11%。
• 在UIUC体育事件数据集上，该方法达到98.8%的top-1准确率，显著优于先前方法，包括Couple LDA和深度学习基线模型。
• 与仅使用基于初始化的迁移相比，基于知识和基于数据的迁移技术各自将性能提升超过1%，其中基于知识的迁移表现出更强的增益。
• 迭代选择方法成功识别出一组具有高判别能力的物体和场景类别，显著提升了迁移效率与准确性。
• 失败案例显示，视觉上相似的事件（如中国农历新年与平溪天灯节）常发生混淆，表明细粒度事件区分仍具挑战。
• 该方法在小规模数据集上也表现出鲁棒性，在小规模UIUC Event8数据集上，基于初始化的迁移达到96.9%准确率，完整迁移达到98.0%准确率。