[论文解读] One-Shot Adaptation of Supervised Deep Convolutional Models

Judy Hoffman, Eric Tzeng+4 more|arXiv (Cornell University)|Dec 24, 2013

Domain Adaptation and Few-Shot Learning被引用 14

一句话总结

本文研究了在多样化数据集上预训练的大规模监督深度卷积神经网络（CNN）在仅需极少微调的情况下，是否能泛化到新领域。本文提出了一种仅需每类一个标注样本的少样本适应方法，在视觉领域自适应基准上显著提升了性能，表明尽管数据集偏差依然存在，但通过极少数据即可实现有效的适应。

ABSTRACT

Dataset bias remains a significant barrier towards solving real world computer vision tasks. Though deep convolutional networks have proven to be a competitive approach for image classification, a question remains: have these models have solved the dataset bias problem? In general, training or fine-tuning a state-of-the-art deep model on a new domain requires a significant amount of data, which for many applications is simply not available. Transfer of models directly to new domains without adaptation has historically led to poor recognition performance. In this paper, we pose the following question: is a single image dataset, much larger than previously explored for adaptation, comprehensive enough to learn general deep models that may be effectively applied to new image domains? In other words, are deep CNNs trained on large amounts of labeled data as susceptible to dataset bias as previous methods have been shown to be? We show that a generic supervised deep CNN model trained on a large dataset reduces, but does not remove, dataset bias. Furthermore, we propose several methods for adaptation with deep models that are able to operate with little (one example per category) or no labeled domain specific data. Our experiments show that adaptation of deep models on benchmark visual domain adaptation datasets can provide a significant performance boost.

研究动机与目标

• 解决真实世界计算机视觉应用中深度学习的数据集偏差问题。
• 探究在多样化数据上预训练的大规模监督CNN是否仍受数据集偏差影响。
• 开发仅需目标领域极少或无需标注数据的适应技术。
• 仅使用每类一个标注样本，实现深度模型向新图像领域的有效迁移。

提出的方法

• 在大规模标注数据集上训练通用深度CNN，以学习可泛化的特征。
• 在目标领域仅使用每类一个标注样本的情况下，应用领域自适应技术对模型进行微调。
• 采用特征空间自适应策略，在极少监督下对齐源域与目标域的分布。
• 利用预训练模型的层次化特征表示，提升零样本或少样本泛化能力。
• 通过度量学习或特征归一化实现自适应，以减少领域差异。
• 在目标领域标注数据有限的标准视觉领域自适应基准上评估自适应性能。

实验结果

研究问题

• RQ1 在仅需极少微调的情况下，大规模预训练的CNN是否能有效泛化到新领域？
• RQ2 尽管经过大量预训练，大规模监督深度模型中的数据集偏差在多大程度上仍然存在？
• RQ3 在目标领域每类仅有一个标注样本的情况下，能否实现有效的适应？
• RQ4 所提出的适应方法在低资源场景下与标准微调或迁移学习相比表现如何？

主要发现

• 大规模监督深度CNN仍表现出数据集偏差，表明仅靠预训练无法完全解决领域差异问题。
• 少样本适应方法在标准视觉领域自适应基准数据集上显著提升了识别准确率。
• 所提出的适应技术即使在目标领域每类仅有一个标注样本的情况下，也能实现显著的性能提升。
• 在低资源领域自适应场景中，使用极少数据的自适应方法优于直接迁移或标准微调。