[论文解读] Relaxed Conditional Image Transfer for Semi-supervised Domain Adaptation

Qijun Luo, Zhili Liu+8 more|arXiv (Cornell University)|Jan 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 9被引用 4

一句话总结

该论文提出了一种名为 Relaxed cGAN 的新型条件生成对抗网络框架，用于半监督域自适应，通过从生成器输入中移除类别标签，缓解了标签主导问题，使生成器能够从原始图像中推断语义。该方法在 DomainNet、Office-Home 以及多个数字基准数据集上，在低资源和高资源设置下均实现了最先进性能。

ABSTRACT

Semi-supervised domain adaptation (SSDA), which aims to learn models in a partially labeled target domain with the assistance of the fully labeled source domain, attracts increasing attention in recent years. To explicitly leverage the labeled data in both domains, we naturally introduce a conditional GAN framework to transfer images without changing the semantics in SSDA. However, we identify a label-domination problem in such an approach. In fact, the generator tends to overlook the input source image and only memorizes prototypes of each class, which results in unsatisfactory adaptation performance. To this end, we propose a simple yet effective Relaxed conditional GAN (Relaxed cGAN) framework. Specifically, we feed the image without its label to our generator. In this way, the generator has to infer the semantic information of input data. We formally prove that its equilibrium is desirable and empirically validate its practical convergence and effectiveness in image transfer. Additionally, we propose several techniques to make use of unlabeled data in the target domain, enhancing the model in SSDA settings. We validate our method on the well-adopted datasets: Digits, DomainNet, and Office-Home. We achieve state-of-the-art performance on DomainNet, Office-Home and most digit benchmarks in low-resource and high-resource settings.

研究动机与目标

• 为解决基于条件生成对抗网络的图像迁移在半监督域自适应中出现的标签主导问题，即生成器记忆类别原型而非利用源图像特征。
• 通过仅使用输入图像而非标签来训练生成器，同时由判别器强制执行类别条件对齐，从而提升图像迁移质量和语义一致性。
• 通过利用未标记的目标数据的边缘分布和伪标签损失，在低资源设置下增强模型泛化能力。
• 为所提出的 Relaxed cGAN 框架的平衡状态提供理论依据，确保训练稳定与收敛。

提出的方法

• 生成器仅以源图像作为输入，不包含类别标签，从而强制其直接从图像内容中学习语义特征。
• 判别器接收生成图像及其真实标签，使其能够以类别条件方式区分真实与虚假的图像-标签对。
• 框架采用一种放松条件的条件生成对抗网络损失，其中生成器不依赖于标签进行条件控制，从而降低标签主导性。
• 引入边缘损失，以对齐生成图像的边缘分布与真实目标图像的边缘分布，提升域对齐效果。
• 对未标记的目标样本应用伪标签损失，利用模型自身的预测结果来优化特征学习。
• 理论分析证明，所提出的 Relaxed cGAN 的平衡状态是理想且稳定的，支持训练过程的稳定动态。

实验结果

研究问题

• RQ1 从生成器中移除标签条件是否能缓解半监督域自适应中条件生成对抗网络的标签主导问题？
• RQ2 在无标签条件下训练的生成器是否仍能在目标域中生成高质量且语义一致的图像翻译？
• RQ3 所提出的 Relaxed cGAN 框架在标准基准上是否优于现有的特征级和像素级自适应方法？
• RQ4 额外正则化（边缘损失和伪标签损失）在低资源设置下提升模型泛化能力方面是否有效？

主要发现

• 在 DomainNet 数据集的 3-shot 设置下，Relaxed cGAN 实现了最先进性能，平均准确率达到 74.2%，显著优于所有基线方法。
• 在 Office-Home 基准上，Relaxed cGAN 在 1-shot 设置下实现了 98.7% 的最高平均准确率，超越所有对比方法。
• 消融实验表明，不使用额外损失的 Relaxed cGAN 在 S→M 任务上达到 94.3% 的准确率，显著优于 CycleGAN（68.4%）和初步方法（87.8%）。
• 在 S→M 任务上，引入边缘损失和伪标签损失后，准确率从 94.3% 提升至 95.9%。
• 实证结果证实，该方法能有效解决标准条件生成对抗网络中观察到的标签不一致和标签主导问题。
• 理论分析确认，Relaxed cGAN 框架的平衡状态是稳定且理想的，支持实际训练过程的收敛。