[论文解读] Unsupervised Domain Adaptation for Semantic Segmentation by Content Transfer

Suhyeon Lee, Junhyuk Hyun+2 more|arXiv (Cornell University)|Dec 23, 2020

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种用于语义分割的新型无监督域自适应方法，通过零样式损失将图像内容与风格分离，实现域不变特征学习，并通过从合成域到真实域的内容迁移改善尾部类别的性能。该方法通过减小域间差距并缓解类别不平衡，在GTA5→Cityscapes和SYNTHIA→Cityscapes基准上实现了最先进（SOTA）的mIoU表现。

ABSTRACT

In this paper, we tackle the unsupervised domain adaptation (UDA) for semantic segmentation, which aims to segment the unlabeled real data using labeled synthetic data. The main problem of UDA for semantic segmentation relies on reducing the domain gap between the real image and synthetic image. To solve this problem, we focused on separating information in an image into content and style. Here, only the content has cues for semantic segmentation, and the style makes the domain gap. Thus, precise separation of content and style in an image leads to effect as supervision of real data even when learning with synthetic data. To make the best of this effect, we propose a zero-style loss. Even though we perfectly extract content for semantic segmentation in the real domain, another main challenge, the class imbalance problem, still exists in UDA for semantic segmentation. We address this problem by transferring the contents of tail classes from synthetic to real domain. Experimental results show that the proposed method achieves the state-of-the-art performance in semantic segmentation on the major two UDA settings.

研究动机与目标

• 解决无监督域自适应（UDA）中语义分割任务下合成图像与真实图像之间的域差距问题。
• 减轻真实世界数据集中因类别不平衡导致对头部类别的偏差。
• 在无需额外标注的情况下，提升目标域中罕见（尾部）类别的分割性能。
• 仅使用合成源标签和未标注的真实数据，实现端到端的域自适应与类别不平衡缓解训练。
• 在标准无监督域自适应语义分割基准上实现最先进性能。

提出的方法

• 引入零样式损失，通过一个内容编码器和两个样式编码器实现内容与样式的解耦。
• 训练内容编码器以提取域不变特征，同时样式编码器学习域特定的特征。
• 应用循环一致性学习以增强源域与目标域之间的特征对齐。
• 实施输入级和输出级内容迁移，将尾部类别在合成数据中的精确标注注入真实域。
• 在目标域上使用自训练生成伪标签，但通过用源域中转移的内容替换不可靠的尾部类别伪标签来缓解其偏差。
• 通过对抗损失、循环一致性损失和内容迁移监督的组合实现模型的端到端优化。

实验结果

研究问题

• RQ1 在无监督域自适应中，对图像内容与样式进行解耦是否能提升语义分割的域对齐效果？
• RQ2 与标准对抗损失或循环一致性方法相比，零样式损失是否能带来更优的特征级域自适应？
• RQ3 在不增加额外标注的前提下，从合成数据到真实数据的内容迁移是否能提升罕见（尾部）类别的分割性能？
• RQ4 在缓解无监督域自适应中的类别不平衡方面，内容迁移与使用伪标签的自训练相比有何差异？
• RQ5 所提出的方法是否在标准的合成到真实域自适应基准上实现了最先进性能？

主要发现

• 所提方法在GTA5→Cityscapes上达到49.6%的mIoU，在SYNTHIA→Cityscapes上达到46.5%的mIoU，优于所有先前的SOTA方法。
• 引入输入级内容迁移后，GTA5→Cityscapes的mIoU_tail从29.9%提升至31.5%，SYNTHIA→Cityscapes从23.2%提升至26.3%。
• 输出级内容迁移进一步将GTA5→Cityscapes的mIoU_tail提升至33.3%，mIoU提升至49.6%；在SYNTHIA→Cityscapes上分别达到27.2%和46.5%。
• 仅使用自训练会使GTA5→Cityscapes和SYNTHIA→Cityscapes的mIoU_tail分别下降0.7%和0.8%，证实其会加剧类别不平衡问题。
• 定性结果表明，内容迁移后尾部类别物体（如交通标志、自行车）的分割效果得到改善，边界更清晰且误检更少。
• 消融实验表明，零样式损失与内容迁移均为关键组件，二者结合时性能最强。