[论文解读] Towards Adapting ImageNet to Reality: Scalable Domain Adaptation with Implicit Low-rank Transformations

Erik Rodner, Judy Hoffman+3 more|arXiv (Cornell University)|Aug 20, 2013

Domain Adaptation and Few-Shot Learning参考文献 21被引用 9

一句话总结

该论文提出了一种可扩展的视觉识别领域自适应方法，通过在源域（ImageNet）与目标域（真实世界场景）之间学习隐式低秩变换实现。通过采用带有隐式秩约束的对偶坐标下降优化方法，该方法能高效适应新类别——即使在无目标域样本的情况下——在真实世界基准上实现了最先进性能，且计算开销极低。

ABSTRACT

Images seen during test time are often not from the same distribution as images used for learning. This problem, known as domain shift, occurs when training classifiers from object-centric internet image databases and trying to apply them directly to scene understanding tasks. The consequence is often severe performance degradation and is one of the major barriers for the application of classifiers in real-world systems. In this paper, we show how to learn transform-based domain adaptation classifiers in a scalable manner. The key idea is to exploit an implicit rank constraint, originated from a max-margin domain adaptation formulation, to make optimization tractable. Experiments show that the transformation between domains can be very efficiently learned from data and easily applied to new categories. This begins to bridge the gap between large-scale internet image collections and object images captured in everyday life environments.

研究动机与目标

• 解决 ImageNet 训练模型在应用于真实世界场景理解时因领域偏移导致的性能下降问题。
• 实现在目标域中无须目标域标注样本的情况下，将视觉分类器迁移至新类别的能力。
• 开发一种适用于基于变换的领域自适应的可扩展优化方法，能够处理高维特征和大规模数据集。
• 克服先前基于核空间或全矩阵方法在大规模数据场景下不可行的局限性。
• 在不同特征类型和领域分布（包括非重叠特征空间）下展示方法的适用性。

提出的方法

• 将最大间隔领域自适应问题重新表述为直接对偶坐标下降，以实现可扩展优化。
• 在变换矩阵上引入隐式低秩约束，将计算复杂度从特征维度的二次方降低至线性。
• 仅使用重叠类别的标注数据，学习一个单一的、与类别无关的变换，从源域和目标域特征中进行。
• 将学习到的变换直接应用于源域分类器，以适应目标域，即使在目标域中未出现的新类别也能实现。
• 通过在异质特征空间中学习变换，支持不同类型特征之间的领域自适应。
• 采用对偶优化框架，避免显式计算完整变换矩阵，从而实现在大规模数据上的高效训练。

实验结果

研究问题

• RQ1 基于变换的领域自适应能否在 ImageNet 等具有高维特征的大规模数据集上实现可扩展？
• RQ2 一个单一的、与类别无关的变换能否有效补偿 ImageNet 与真实世界场景数据集之间的数据集偏差？
• RQ3 能否在目标域中无任何标注样本的情况下，成功将视觉分类器迁移至新类别？
• RQ4 当源域与目标域使用不同特征表示或不同维度时，该方法性能如何？
• RQ5 隐式低秩约束是否能在不损失真实世界基准性能的前提下，实现高效优化？

主要发现

• 在仅使用 700 个目标域训练样本的情况下，该方法在场景内物体分类任务中达到 59.21% 的准确率，优于 SVM-Target（57.53%）和 SVM-Source（53.14%）。
• 即使每个类别仅有 1 个标注目标样本，该方法在将 1000D 的 ImageNet 特征迁移至 SUN2012 的 1500D BoW 特征时，仍达到 18.2% 的识别准确率，超过 SVM-Target（16.9%）。
• 该方法成功将模型迁移至 11 个未见类别，且无需任何目标域样本，优于使用最多 100 个标注样本训练的基准 SVM-Target 模型。
• 隐式低秩约束使每次迭代的优化达到线性时间复杂度，使该方法可扩展至大规模数据集，而此前基于核的方法或全矩阵方法在该场景下均不可行。
• 所学习的变换具有类别无关性，能有效缓解由图像收集偏差（如以物体为中心 vs. 场景嵌入图像）引起的领域偏移。
• 该方法在不同特征类型和维度间具有泛化能力，展示了在特征空间不匹配的挑战性自适应场景下的鲁棒性。