[论文解读] Phase Consistent Ecological Domain Adaptation

Yanchao Yang, Dong Lao+2 more|arXiv (Cornell University)|Apr 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用 4

一句话总结

本文提出相位一致生态领域自适应（PCEDA），一种用于语义分割的新型无监督领域自适应框架，通过在图像到图像翻译中强制执行相位一致性，并利用条件先验网络（CPN）引入生态统计信息。通过将这两种先验整合到深度学习流程中，PCEDA 在 GTA5 到 Cityscapes 和 Synthia 到 Cityscapes 基准上实现了最先进性能，相比之前方法最高提升达 8.0%。

ABSTRACT

We introduce two criteria to regularize the optimization involved in learning a classifier in a domain where no annotated data are available, leveraging annotated data in a different domain, a problem known as unsupervised domain adaptation. We focus on the task of semantic segmentation, where annotated synthetic data are aplenty, but annotating real data is laborious. The first criterion, inspired by visual psychophysics, is that the map between the two image domains be phase-preserving. This restricts the set of possible learned maps, while enabling enough flexibility to transfer semantic information. The second criterion aims to leverage ecological statistics, or regularities in the scene which are manifest in any image of it, regardless of the characteristics of the illuminant or the imaging sensor. It is implemented using a deep neural network that scores the likelihood of each possible segmentation given a single un-annotated image. Incorporating these two priors in a standard domain adaptation framework improves performance across the board in the most common unsupervised domain adaptation benchmarks for semantic segmentation.

研究动机与目标

• 为解决真实图像中密集标注成本高昂的语义分割挑战，利用大量合成且带标注的数据。
• 通过引入不完全依赖特征或图像分布对齐的领域不变先验，提升语义分割的无监督领域自适应（UDA）性能。
• 通过傅里叶域中的相位保持，受视觉心理学启发，确保领域转换过程中的语义一致性。
• 在未标注的目标图像中建模场景级规律（生态统计），以指导合理的分割假设。
• 将两种先验整合到一个端到端可微分框架中，增强语义分割在领域偏移下的泛化能力。

提出的方法

• 引入一种相位一致的图像转换模块，在领域转换过程中保留傅里叶变换的相位分量，确保语义内容得以保留。
• 采用条件先验网络（CPN）建模场景兼容性，并基于自然场景的生态统计信息对分割结果的可能性进行评分。
• 在训练过程中将 CPN 作为可微分先验，对目标域中的分割预测进行正则化，即使没有真实标注也能实现。
• 在统一的优化框架中结合相位一致性和生态先验正则化，增强特征空间和输出空间的对齐。
• 在标准 UDA 设置下，使用标准分割主干网络（如 DeepLab-V2 搭配 ResNet-101、VGG-16、DRN-26）端到端应用该方法。
• 在训练过程中集成 CPN，每批次增加约 1.5 秒开销，但推理阶段无额外成本，支持高效部署。

实验结果

研究问题

• RQ1 在图像到图像转换中强制执行相位一致性，是否能提升无监督领域自适应中的语义分割性能？
• RQ2 如空间规律性和形状合理性等生态统计信息，能否作为数据相关先验，有效指导无标注情况下的分割？
• RQ3 相位一致性与生态先验在单独使用和联合使用时，对语义分割领域自适应的提升效果如何比较？
• RQ4 这些先验是否能在不同主干网络架构和领域偏移场景（如 GTA5→Cityscapes、Synthia→Cityscapes）中实现泛化？
• RQ5 将这些先验集成到标准 UDA 流程中的计算成本是多少？

主要发现

• PCEDA 在 GTA5 到 Cityscapes 基准上达到最先进性能，使用 ResNet-101 时相比第二佳方法 mIoU 提升 4.1%。
• 在 Synthia 到 Cityscapes 基准上，PCEDA 使用 ResNet-101 时相比第二佳方法 mIoU 提升 4.3%，使用 VGG-16 时提升达 5.4%。
• 消融研究证实，相位一致性与 CPN 先验均对性能有显著贡献，完整模型优于单独使用任一组件。
• 定性结果表明，与最先进方法相比，PCEDA 生成的分割结果具有更高的空间规则性和场景一致性。
• 强制执行相位一致性的计算开销可忽略不计（每张 1024×512 图像低于 0.001 秒），CPN 在训练中每批次仅增加 1.5 秒开销，推理阶段无运行时成本。
• 该方法在所有评估的语义类别中均持续提升 mIoU 和 fwIoU，表明对类别特定领域偏移具有鲁棒性。