[论文解读] Unsupervised Domain Adaptation for Semantic Segmentation via Low-level Edge Information Transfer

Hongruixuan Chen, Chen Wu+2 more|arXiv (Cornell University)|Sep 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 59被引用 8

一句话总结

本文提出了一种用于语义分割的新型无监督域自适应框架，利用低层次边缘信息——其域间差异较小——来引导高层次语义特征的迁移。通过引入一个独立的边缘分支，结合对抗性学习与边缘一致性损失，该方法提升了真实图像上的边界精度，在Cityscapes和GTA5基准上分别实现了+2.9%和+2.6%的mIoU性能提升，达到当前最优水平。

ABSTRACT

Unsupervised domain adaptation for semantic segmentation aims to make models trained on synthetic data (source domain) adapt to real images (target domain). Previous feature-level adversarial learning methods only consider adapting models on the high-level semantic features. However, the large domain gap between source and target domains in the high-level semantic features makes accurate adaptation difficult. In this paper, we present the first attempt at explicitly using low-level edge information, which has a small inter-domain gap, to guide the transfer of semantic information. To this end, a semantic-edge domain adaptation architecture is proposed, which uses an independent edge stream to process edge information, thereby generating high-quality semantic boundaries over the target domain. Then, an edge consistency loss is presented to align target semantic predictions with produced semantic boundaries. Moreover, we further propose two entropy reweighting methods for semantic adversarial learning and self-supervised learning, respectively, which can further enhance the adaptation performance of our architecture. Comprehensive experiments on two UDA benchmark datasets demonstrate the superiority of our architecture compared with state-of-the-art methods.

研究动机与目标

• 解决在语义分割中，合成（源）图像与真实（目标）图像之间高层次语义特征存在的大域差距问题。
• 克服现有特征级对抗方法在因大域偏移导致高层次特征错位时的局限性。
• 利用低层次边缘信息——因其域间差异小——作为可迁移信号，引导语义特征自适应。
• 通过显式对齐预测的语义图与高质量边缘导出的边界，提升在真实世界目标域上的分割性能。
• 提出不确定性自适应自监督学习，以进一步优化预测，而无需依赖基于阈值的伪标签。

提出的方法

• 设计双分支架构：一个语义分支用于标准的熵对抗学习，一个独立的边缘分支用于处理低层次边缘特征。
• 使用源域的真实语义边界监督边缘分支训练，并应用域对抗训练以对齐源域与目标域的边缘特征。
• 引入边缘一致性损失，强制在目标域上使预测的语义分割图与生成的边缘图保持对齐。
• 提出一种熵重加权机制，提高高熵（困难）目标样本的损失权重，从而增强对挑战性样本的适应能力。
• 应用不确定性自适应自监督学习（UASL），通过自适应加权高置信度像素并抑制噪声预测，以优化伪标签。
• 使用A-distance度量实证验证：边缘特征的域差距显著小于语义特征。

实验结果

研究问题

• RQ1 低层次边缘信息——因其域间差异小——能否作为无监督域自适应中高层次语义特征迁移的有效引导？
• RQ2 通过独立分支显式建模边缘信息，是否相比标准对抗自适应方法能显著提升在真实世界目标域上的分割性能？
• RQ3 强制预测语义图与边缘图之间的一致性，在多大程度上能提升边界精度与整体mIoU？
• RQ4 不确定性自适应自监督学习与标准基于阈值的伪标签方法相比，在语义分割的域自适应中表现如何？
• RQ5 通过A-distance度量，边缘表征的域差异是否显著小于高层语义表征的域差异？

主要发现

• 所提方法在Cityscapes数据集上达到52.8%的mIoU，在GTA5数据集上达到48.1%的mIoU，优于先前的SOTA方法。
• 通过边缘分支与边缘一致性损失显式利用边缘信息，在Cityscapes和GTA5上分别使mIoU提升2.1%和1.9%。
• 在边缘分支上进行对抗训练进一步使mIoU提升0.8%和0.7%，证明了边缘空间域对齐的有效性。
• 边缘引导与对抗性边缘学习带来的总性能增益分别达到+2.9%和+2.6%的mIoU，证实了方法的优越性。
• A-distance度量显示，边缘特征的域差距显著小于语义特征，验证了该方法核心假设的合理性。
• 不确定性自适应自监督学习优于标准阈值方法（T=0.5，T=0.9），消除了手动选择阈值的需求并提升了鲁棒性。