[论文解读] Unsupervised Domain Adaptation for Semantic Segmentation with GANs.

Swami Sankaranarayanan, Yogesh Balaji+3 more|arXiv (Cornell University)|Nov 19, 2017

Domain Adaptation and Few-Shot Learning参考文献 28被引用 46

一句话总结

该论文提出了一种基于生成对抗网络（GAN）的无监督域自适应方法，用于语义分割，通过对抗性训练在合成图像域和真实图像域之间对齐特征嵌入。该方法在两个从合成到真实的域自适应基准上取得了最先进性能，能泛化到未见域，并改善了源域与目标域之间的分布对齐。

ABSTRACT

Visual Domain Adaptation is a problem of immense importance in computer vision. Previous approaches showcase the inability of even deep neural networks to learn informative representations across domain shift. This problem is more severe for tasks where acquiring hand labeled data is extremely hard and tedious. In this work, we focus on adapting the representations learned by segmentation networks across synthetic and real domains. Contrary to previous approaches that use a simple adversarial objective or superpixel information to aid the process, we propose an approach based on Generative Adversarial Networks (GANs) that brings the embeddings closer in the learned feature space. To showcase the generality and scalability of our approach, we show that we can achieve state of the art results on two challenging scenarios of synthetic to real domain adaptation. Additional exploratory experiments show that our approach: (1) generalizes to unseen domains and (2) results in improved alignment of source and target distributions.

研究动机与目标

• 解决语义分割中域偏移的挑战，尤其是在真实世界数据标注稀缺的情况下。
• 通过无监督域自适应改进合成图像域与真实图像域之间的表征学习。
• 开发一种可扩展且泛化能力强的方法，以减少对真实世界数据采集中人工标注的依赖。
• 通过对抗性训练增强源域（合成）与目标域（真实）特征空间的对齐。
• 评估方法在未见域上的泛化能力以及在标准基准之外的分布对齐改进。

提出的方法

• 使用生成对抗网络（GAN）框架，在潜在空间中对齐来自源域（合成）和目标域（真实）的特征嵌入。
• 采用对抗性损失，促使判别器区分源域与目标域特征，同时生成器最小化这种差异。
• 引入一种基于特征层面的对抗性目标，作用于分割网络的嵌入空间，而非原始图像。
• 端到端训练分割网络与对抗性自适应，实现域不变的表征。
• 利用GAN建模复杂数据分布的能力，在无需超像素或手工设计特征的情况下提升对齐效果。
• 在训练过程中应用域自适应，无需额外微调或特定域的适应模块。

实验结果

研究问题

• RQ1 基于GAN的方法能否在从合成到真实的无监督域自适应中提升语义分割性能？
• RQ2 所提出的方法能否泛化到训练期间未见过的目标域？
• RQ3 与先前方法相比，该方法在多大程度上实现了源域与目标域特征分布的对齐？
• RQ4 对抗性特征对齐在多大程度上减少了分割任务中的域偏移？
• RQ5 该方法能否在不依赖超像素或辅助监督的情况下实现最先进性能？

主要发现

• 所提方法在两个具有挑战性的从合成到真实的语义分割基准上取得了最先进性能。
• 该方法能有效泛化到未见域，表现出超越训练域偏移的鲁棒性。
• 源域与目标域的特征嵌入在潜在空间中显著对齐，减少了域差异。
• 通过提升特征空间一致性，该模型改善了源域与目标域之间的分布对齐。
• 与依赖简单对抗目标或基于超像素引导的先前方法相比，该方法表现更优。
• 结果表明，基于GAN的特征级自适应可生成更鲁棒、更具泛化能力的分割模型。