[论文解读] Semi-supervised domain adaptation with CycleGAN guided by a downstream task loss

Annika Mütze, Matthias Rottmann+1 more|arXiv (Cornell University)|Aug 18, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种模块化的半监督域自适应方法，通过利用下游语义分割任务损失来指导CycleGAN生成器，从而在不微调分割网络的情况下减少域偏移。仅使用14–70张真实世界真实标签图像，该方法在Cityscapes数据集上将mIoU提升4–7个百分点，在分类任务上将准确率提升7个百分点，优于标准CycleGAN和从零开始训练的方法。

ABSTRACT

Domain adaptation is of huge interest as labeling is an expensive and error-prone task, especially when labels are needed on pixel-level like in semantic segmentation. Therefore, one would like to be able to train neural networks on synthetic domains, where data is abundant and labels are precise. However, these models often perform poorly on out-of-domain images. To mitigate the shift in the input, image-to-image approaches can be used. Nevertheless, standard image-to-image approaches that bridge the domain of deployment with the synthetic training domain do not focus on the downstream task but only on the visual inspection level. We therefore propose a "task aware" version of a GAN in an image-to-image domain adaptation approach. With the help of a small amount of labeled ground truth data, we guide the image-to-image translation to a more suitable input image for a semantic segmentation network trained on synthetic data (synthetic-domain expert). The main contributions of this work are 1) a modular semi-supervised domain adaptation method for semantic segmentation by training a downstream task aware CycleGAN while refraining from adapting the synthetic semantic segmentation expert 2) the demonstration that the method is applicable to complex domain adaptation tasks and 3) a less biased domain gap analysis by using from scratch networks. We evaluate our method on a classification task as well as on semantic segmentation. Our experiments demonstrate that our method outperforms CycleGAN - a standard image-to-image approach - by 7 percent points in accuracy in a classification task using only 70 (10%) ground truth images. For semantic segmentation we can show an improvement of about 4 to 7 percent points in mean Intersection over union on the Cityscapes evaluation dataset with only 14 ground truth images during training.

研究动机与目标

• 解决将基于合成数据训练的模型迁移到真实世界图像时的域偏移问题。
• 通过仅使用少量标注的真实图像，减少对大规模真实世界标注的依赖。
• 开发一种模块化的域自适应框架，以保留预训练的合成域语义分割网络。
• 通过由下游网络性能引导的任务感知图像到图像转换实现有效适应。
• 通过从零开始训练所有组件，避免ImageNet预训练偏差，实现更少偏见的域差距分析。

提出的方法

• 训练一个基于CycleGAN的图像到图像转换网络，将真实世界图像转换为合成域分布。
• 通过预训练语义分割网络的特征图导出的损失来指导生成器，使转换任务具备任务感知能力。
• 采用两阶段训练：先对CycleGAN进行无监督预训练，然后使用少量真实世界真实标签图像进行微调。
• 在第二阶段应用下游任务损失，使转换后的图像与语义分割网络的预期保持一致。
• 保持原始的合成域分割网络不变，确保模块化并避免重新训练。
• 在真实世界和合成数据上对图像分类和语义分割任务进行了评估。

实验结果

研究问题

• RQ1 能否通过下游语义分割任务有效引导基于CycleGAN的图像到图像转换方法，以减少域偏移？
• RQ2 仅使用少量真实世界标注图像时，mIoU和准确率能提升多少？
• RQ3 从零开始训练所有组件是否相比使用ImageNet预训练主干网络能提供更少偏见的域差距分析？
• RQ4 在复杂域自适应任务中，任务感知转换是否优于标准CycleGAN和从零开始训练？
• RQ5 使用抽象表示（如草图、仿真）作为中间域是否能提升泛化性能？

主要发现

• 所提出的方法在仅使用14张真实世界真实标签图像进行训练的情况下，使Cityscapes数据集上的平均交并比（mIoU）提升了4至7个百分点。
• 在分类任务中，仅使用70张（10%）真实世界真实标签图像，该方法相比标准CycleGAN实现了7个百分点的准确率增益。
• 该方法显著减少了域偏移，表现为未转换的真实图像mIoU仅为9%，而经该方法适配后提升至40%以上。
• 使用从零开始训练的生成器和分割网络，实现了更少偏见的域差距分析，揭示了ImageNet预训练可能扭曲域差距评估。
• 阶段b)中更长的无监督预训练并未显著提升结果，表明适度训练已足以实现有效初始化。
• 该方法在复杂任务（包括语义分割）中表现出强大的泛化能力，即使在极少真实世界监督下亦然。