[论文解读] Stretching Domain Adaptation: How far is too far?

Yunhan Zhao, Haider Ali+1 more|arXiv (Cornell University)|Dec 6, 2017

Domain Adaptation and Few-Shot Learning参考文献 35被引用 5

一句话总结

本文提出了一套新的数据集套件和 Deep MagNet 框架，用于评估和改进跨模态域自适应，特别是在草图到真实图像迁移等极端情况下的表现。Deep MagNet 通过在多个 MMD 损失和转换层之间进行特征对齐，显著提升了域间特征的一致性，实现了所有基准任务中的最先进性能，包括最具挑战性的草图到真实图像迁移任务。

ABSTRACT

While deep learning has led to significant advances in visual recognition over the past few years, such advances often require a lot of annotated data. Unsupervised domain adaptation has emerged as an alternative approach that does not require as much annotated data, prior evaluations of domain adaptation approaches have been limited to relatively similar datasets, e.g source and target domains are samples captured by different cameras. A new data suite is proposed that comprehensively evaluates cross-modality domain adaptation problems. This work pushes the limit of unsupervised domain adaptation through an in-depth evaluation of several state of the art methods on benchmark datasets and the new dataset suite. We also propose a new domain adaptation network called "Deep MagNet" that effectively transfers knowledge for cross-modality domain adaptation problems. Deep Magnet achieves state of the art performance on two benchmark datasets. More importantly, the proposed method shows consistent improvements in performance on the newly proposed dataset suite.

研究动机与目标

• 在源域和目标域差异日益显著的情况下，对现有无监督域自适应方法进行压力测试。
• 识别当前最先进方法在应用于跨模态任务（如草图到真实图像图像迁移）时的局限性。
• 提供一个全面的基准数据集套件，用于评估在极端域偏移条件下的域自适应性能。
• 提出一种新型域自适应网络 Deep MagNet，其在多种域偏移下具备更强的泛化能力。
• 在传统和高度挑战性的跨模态自适应任务中，均展示出一致的性能提升。

提出的方法

• 提出一套新的数据集套件，包含三种域偏移级别：真实图像到真实图像（Pascal 3D+）、真实图像到 CAD（ShapeNet），以及真实图像到草图（Sketch-250 和 Caltech-256）。
• 提出 Deep MagNet，一种域自适应网络，不仅在分类器权重层面，还在卷积滤波器层面强制知识迁移。
• 在神经网络的不同层上使用多个最大均值差异（MMD）损失函数，以对齐源域和目标域之间的特征分布。
• 在密集块之间引入转换层，以适应高层特征，实现基于 MMD 的有效域对齐。
• 使用预训练的 ImageNet 模型（如 DenseNet-121、ResNet-152）作为主干网络，并通过域自适应损失进行微调。
• 设计网络时保持与现有 MMD 或对抗性方法的正交性，便于未来与其他损失函数集成。

实验结果

研究问题

• RQ1 当面对从人工绘制的草图到真实图像等极端域偏移时，当前最先进域自适应方法的表现如何？
• RQ2 当在视觉外观差异极大的域之间（如 CAD 渲染图与真实场景）进行知识迁移时，现有域自适应方法在多大程度上会失效？
• RQ3 统一的域自适应框架是否能在从真实图像到真实图像到草图到真实图像的多种域偏移级别上均保持强大性能？
• RQ4 在高度不同的域之间，哪些网络架构组件最有效地保留了域不变特征？
• RQ5 通过多个 MMD 损失和转换层实现的多层次特征对齐，是否比单层次对齐带来更鲁棒、更具泛化能力的域自适应？

主要发现

• Deep MagNet 在标准基准（Office-31、Office-Caltech）和新提出的数据集套件上均实现了最先进性能。
• 在草图到真实图像图像迁移任务中的平均分类准确率在所有评估任务中最低，证实了此类任务的极端难度。
• Deep MagNet 在所有迁移任务中均优于 RTN、CORAL 和 JAN，尤其在草图到真实图像和 CAD 到真实图像迁移任务中表现尤为突出。
• 在相同自适应协议下，更深的模型（如 DenseNet-121 和 ResNet-152）比浅层模型（如 AlexNet）表现出更高的准确率。
• RTN 在真实图像到真实图像任务中表现良好，但在跨模态任务中性能显著下降，表明其对空间和像素级一致性的过度依赖。
• Deep MagNet 中的转换层能够有效适应密集块的特征，即使更换主干网络，也能保持一致的性能表现。