[论文解读] Scalable domain adaptation of convolutional neural networks

Adrian Popescu, Etienne Gadeski+1 more|arXiv (Cornell University)|Dec 7, 2015

Advanced Image and Video Retrieval Techniques参考文献 18被引用 3

一句话总结

本文提出了一种可扩展的、全自动的卷积神经网络（CNN）领域自适应方法，利用来自Flickr的噪声网络采集图像进行训练，无需人工标注。通过应用弱监督重排序并从头训练CNN，该方法在旅游导向的数据集（如Oxford5k和INRIA Holidays）上实现了最先进（SOTA）的检索性能，优于通用ImageNet模型以及需要人工监督的先前CNN方法。

ABSTRACT

Convolutional neural networks (CNNs) tend to become a standard approach to solve a wide array of computer vision problems. Besides important theoretical and practical advances in their design, their success is built on the existence of manually labeled visual resources, such as ImageNet. The creation of such datasets is cumbersome and here we focus on alternatives to manual labeling. We hypothesize that new resources are of uttermost importance in domains which are not or weakly covered by ImageNet, such as tourism photographs. We first collect noisy Flickr images for tourist points of interest and apply automatic or weakly-supervised reranking techniques to reduce noise. Then, we learn domain adapted models with a standard CNN architecture and compare them to a generic model obtained from ImageNet. Experimental validation is conducted with publicly available datasets, including Oxford5k, INRIA Holidays and Div150Cred. Results show that low-cost domain adaptation improves results compared to the use of generic models but also compared to strong non-CNN baselines such as triangulation embedding.

研究动机与目标

• 解决旅游等领域中领域特定视觉资源匮乏的问题，这些领域在ImageNet中的覆盖有限。
• 为训练领域特定CNN提供一种可扩展、低成本的替代方案，以替代人工数据集构建。
• 探究是否可以在无需人工标注的情况下，有效利用噪声网络来源图像训练CNN。
• 在检索任务中，比较自动适应的CNN与通用模型及强非CNN基线的性能表现。
• 评估数据质量、多样性以及特征工程对领域自适应CNN性能的影响。

提出的方法

• 使用基于关键词的查询，自动收集大规模、噪声的Flickr图像，用于兴趣点（POIs）。
• 应用弱监督重排序技术，以减少训练集中噪声并提升图像质量。
• 在重排序后的、领域特定的图像集合上，从头开始训练标准CNN架构。
• 使用基于PCA的降维方法压缩CNN特征，以提升可扩展性，同时保持精度损失最小。
• 应用空间搜索和数据增强技术，以提升特征鲁棒性与检索性能。
• 通过使用排名靠前的结果进行查询扩展，以优化检索查询并提升mAP。

实验结果

研究问题

• RQ1 在低资源领域（如旅游）中，是否可以无需人工标注，在大规模噪声网络图像上有效训练CNN？
• RQ2 在图像检索任务中，领域自适应CNN的性能与通用ImageNet预训练模型及非CNN基线相比如何？
• RQ3 在微调CNN时，数据多样性在多大程度上可以弥补训练集中噪声的影响？
• RQ4 特征压缩与调优技术（如PCA、空间搜索）对检索性能与可扩展性有何影响？
• RQ5 与原始噪声数据集相比，弱监督重排序是否能提升模型性能？

主要发现

• 使用PCA压缩特征（256维）时，该方法在Oxford5k上达到69.2%的mAP，在INRIA Holidays上达到78.5%的mAP，优于先前基于CNN的方法。
• 即使使用噪声数据，仅在重排序后的Flickr图像上从头训练CNN，其性能仍优于依赖通用ImageNet模型的方法。
• 256维PCA压缩时性能最佳，表明特征压缩可在不损失精度的前提下提升可扩展性。
• 通过空间搜索和数据增强进行特征调优，使Oxford5k和Holidays上的mAP提升超过10%，证实了预处理的有效性。
• 查询扩展使Oxford5k上的mAP提升至81.5%，但在Holidays和Div150Cred上未见提升，表明其效果具有领域依赖性。
• 结果表明，数据多样性可补偿噪声的影响，暗示在新领域中，人工标注可能并非有效训练CNN的必要条件。