[论文解读] SRDA-Net: Super-Resolution Domain Adaptation Networks for Semantic Segmentation.

Zhenjie Tang, Bin Pan+4 more|arXiv (Cornell University)|May 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 55被引用 7

一句话总结

SRDA-Net 是一种端到端的深度学习框架，联合执行遥感图像语义分割中的超分辨率与域自适应，通过超分辨率与分割生成器（SRS）之间以及两个判别器（PDC 和 ODC）之间的对抗性训练，在像素级外观和输出标签分布层面实现源域与目标域的对齐。该方法在跨分辨率遥感数据集上实现了最先进性能。

ABSTRACT

Recently, Unsupervised Domain Adaptation was proposed to address the domain shift problem in semantic segmentation task, but it may perform poor when source and target domains belong to different resolutions. In this work, we design a novel end-to-end semantic segmentation network, Super-Resolution Domain Adaptation Network (SRDA-Net), which could simultaneously complete super-resolution and domain adaptation. Such characteristics exactly meet the requirement of semantic segmentation for remote sensing images which usually involve various resolutions. Generally, SRDA-Net includes three deep neural networks: a Super-Resolution and Segmentation (SRS) model focuses on recovering high-resolution image and predicting segmentation map; a pixel-level domain classifier (PDC) tries to distinguish the images from which domains; and output-space domain classifier (ODC) discriminates pixel label distributions from which domains. PDC and ODC are considered as the discriminators, and SRS is treated as the generator. By the adversarial learning, SRS tries to align the source with target domains on pixel-level visual appearance and output-space. Experiments are conducted on the two remote sensing datasets with different resolutions. SRDA-Net performs favorably against the state-of-the-art methods in terms of accuracy and visual quality. Code and models are available at this https URL.

研究动机与目标

• 解决当源域与目标域图像分辨率不同时，语义分割中的域偏移问题。
• 实现端到端学习，同时执行超分辨率与域自适应。
• 提升在存在跨分辨率域偏移的遥感图像上的分割准确率与视觉质量。
• 开发一个统一框架，实现域间视觉外观与标签分布的对齐。

提出的方法

• 集成一个超分辨率与分割（SRS）模型，从低分辨率输入生成高分辨率分割图。
• 使用像素级域分类器（PDC）在像素级别区分源域与目标域图像。
• 采用输出空间域分类器（ODC）区分源域与目标域的标签分布。
• 通过对抗性学习训练 SRS 作为生成器，PDC/ODC 作为判别器，以实现域对齐。
• 通过对抗损失、分割损失与超分辨率损失，端到端优化网络。
• 通过对抗性训练实现特征级对齐，以减轻域偏移的影响。

实验结果

研究问题

• RQ1 联合超分辨率与域自适应是否能提升跨分辨率遥感数据上的语义分割性能？
• RQ2 同时使用像素级与输出空间域判别器的对抗性训练，在减轻域偏移方面有多有效？
• RQ3 所提出的 SRDA-Net 在低分辨率与高分辨率域迁移场景下是否优于现有域自适应方法？
• RQ4 该模型在超分辨率过程中，对语义与视觉保真度的保持程度如何？

主要发现

• SRDA-Net 在两个分辨率不同的遥感数据集上实现了最先进性能。
• 与现有无监督域自适应方法相比，该模型显著提升了分割准确率与视觉质量。
• 超分辨率与域自适应的联合优化，带来了更优的域间特征对齐效果。
• 同时使用 PDC 与 ODC 显著增强了像素级与输出级的域对齐能力。
• 即使源域与目标域分辨率不同，该框架仍能有效减轻域偏移。
• 代码与训练模型已公开，便于复现与进一步研究。