[论文解读] Multi-Source Domain Adaptation and Semi-Supervised Domain Adaptation with Focus on Visual Domain Adaptation Challenge 2019

Yingwei Pan, Yehao Li+3 more|arXiv (Cornell University)|Oct 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 18被引用 5

一句话总结

本论文在VisDA-2019挑战赛中提出了一种混合方法，用于多源域和半监督域自适应，结合了通过CycleGAN实现的像素级自适应与使用集成模型和广义交叉熵损失的特征级自适应。该方法实现了最先进性能，在clipart测试集上达到81.61%的top-1准确率，且在使用更高分辨率输入的迭代EEA和FFA模块下，整体平均准确率达到75.96%。

ABSTRACT

This notebook paper presents an overview and comparative analysis of our systems designed for the following two tasks in Visual Domain Adaptation Challenge (VisDA-2019): multi-source domain adaptation and semi-supervised domain adaptation. Multi-Source Domain Adaptation: We investigate both pixel-level and feature-level adaptation for multi-source domain adaptation task, i.e., directly hallucinating labeled target sample via CycleGAN and learning domain-invariant feature representations through self-learning. Moreover, the mechanism of fusing features from different backbones is further studied to facilitate the learning of domain-invariant classifiers. Source code and pre-trained models are available at \url{https://github.com/Panda-Peter/visda2019-multisource}. Semi-Supervised Domain Adaptation: For this task, we adopt a standard self-learning framework to construct a classifier based on the labeled source and target data, and generate the pseudo labels for unlabeled target data. These target data with pseudo labels are then exploited to re-training the classifier in a following iteration. Furthermore, a prototype-based classification module is additionally utilized to strengthen the predictions. Source code and pre-trained models are available at \url{https://github.com/Panda-Peter/visda2019-semisupervised}.

研究动机与目标

• 解决在存在多个源域和有限标注目标数据时视觉域自适应中的域偏移问题。
• 通过结合像素级和特征级自适应技术，提升模型泛化能力。
• 设计一种稳健的半监督域自适应框架，利用迭代自学习与伪标签化及基于原型的分类方法。
• 探究在多个深度主干网络之间进行特征融合以学习域不变表征的有效性。
• 在VisDA-2019基准上，实现多源域和半监督域自适应任务的最先进性能。

提出的方法

• 应用CycleGAN执行无监督像素级自适应，将源域图像（如草图、真实图像）转换为目标域风格（如clipart、绘画），以生成合成标注数据。
• 使用多种主干网络（如EfficientNet-B7、Inception-ResNet-v2）训练八个仅使用源域的模型，并对未标注目标样本的预测结果进行平均，以生成初始伪标签。
• 实施端到端自适应（EEA）模块，利用伪标注目标数据上的广义交叉熵损失对模型进行端到端微调。
• 设计基于特征融合的自适应（FFA）模块，通过双线性池化将每对主干网络的特征进行融合，训练36个分类器（28个融合模型，8个单一模型），以增强域不变特征学习。
• 通过多次迭代交替使用EEA和FFA模块，以优化伪标签并提升模型鲁棒性。
• 在半监督自适应中引入基于原型的分类模块，以增强预测置信度并改善泛化性能。

实验结果

研究问题

• RQ1 通过CycleGAN生成合成数据并结合多个源域，如何提升多源域自适应中的性能？
• RQ2 在自学习的域自适应中，使用广义交叉熵损失与标准交叉熵损失相比，其影响是什么？
• RQ3 在不同深度主干网络之间进行特征融合，在多大程度上能增强域不变表征的学习？
• RQ4 通过交替使用EEA和FFA模块对伪标签进行迭代优化，对最终模型准确率有何影响？
• RQ5 在仅有极少标注目标数据的半监督域自适应中，基于原型的分类是否能进一步提升性能？

主要发现

• 采用四次迭代且使用更高分辨率输入的混合EEA+FFA系统，在clipart测试集上达到81.61%的top-1准确率，在VisDA-2019完整测试集上平均准确率达到75.96%。
• 利用CycleGAN生成类似源域的合成图像（如real*）后，源模型在草图验证集上的准确率从53.30%提升至63.01%。
• 采用广义交叉熵损失的EEA模块优于标准交叉熵损失，表明鲁棒损失优化对未标注目标样本具有显著优势。
• 在FFA模块中通过双线性池化实现的特征融合带来了显著性能提升，使验证集上的平均准确率从63.01%提升至67.58%。
• 在半监督自适应中，通过EEA3与基于原型的分类实现的迭代优化，平均准确率达到71.41%，相比源模型基线提升了7.1%。
• 结合多个源域、合成数据以及在多样化主干网络上的集成学习，是实现最先进结果的关键因素。