[论文解读] Towards Corruption-Agnostic Robust Domain Adaptation

Yifan Xu, Kekai Sheng+4 more|arXiv (Cornell University)|Apr 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 44被引用 4

一句话总结

本文提出了一种新型框架——抗污染域适应（Corruption-Agnostic Robust Domain Adaptation, CRDA），可提升域适应模型在未见污染下的鲁棒性，同时在干净数据上保持高准确率。该方法引入了域差异生成器（Domain Discrepancy Generator, DDG），通过生成最大化域差异的合成样本，模拟不可预测的污染；并采用教师-学生对比学习机制以稳定训练过程、提升鲁棒性，在原始准确率与污染鲁棒性方面均优于基线模型。

ABSTRACT

Big progress has been achieved in domain adaptation in decades. Existing works are always based on an ideal assumption that testing target domain are i.i.d. with training target domains. However, due to unpredictable corruptions (e.g., noise and blur) in real data like web images, domain adaptation methods are increasingly required to be corruption robust on target domains. In this paper, we investigate a new task, Corruption-agnostic Robust Domain Adaptation (CRDA): to be accurate on original data and robust against unavailable-for-training corruptions on target domains. This task is non-trivial due to large domain discrepancy and unsupervised target domains. We observe that simple combinations of popular methods of domain adaptation and corruption robustness have sub-optimal CRDA results. We propose a new approach based on two technical insights into CRDA: 1) an easy-to-plug module called Domain Discrepancy Generator (DDG) that generates samples that enlarge domain discrepancy to mimic unpredictable corruptions; 2) a simple but effective teacher-student scheme with contrastive loss to enhance the constraints on target domains. Experiments verify that DDG keeps or even improves performance on original data and achieves better corruption robustness that baselines.

研究动机与目标

• 解决域适应模型在干净数据上表现良好，但在真实世界数据污染下性能下降的问题。
• 开发一种方法，在保持原始目标域高准确率的同时，实现对未见、不可预测污染的鲁棒性。
• 在无监督设置下，统一域差异适应与污染鲁棒性，且无需污染特定的训练数据。
• 克服现有域适应与污染鲁棒性方法结合后效果不佳的问题，原因在于域差异与目标域监督不足。

提出的方法

• 提出域差异生成器（DDG），一种即插即用模块，通过最大化源域与目标域之间的域差异，生成合成数据样本，模拟不可预测的真实世界污染。
• 采用基于梯度的优化策略，识别并生成引发最大域差异的样本，其理论基础源于特征空间中δ-环边界的分析。
• 引入教师-学生预热机制，结合对比损失，以稳定初期训练，并提升无标签目标域上的特征泛化能力。
• 采用对比学习对齐图像的干净版本与污染版本的特征，实现对污染严重程度的顺序不变表示。
• 训练学生模型从预训练教师模型中蒸馏鲁棒特征，使用DDG生成的样本作为对比损失中的正样本对。
• 在无监督域适应设置下端到端应用该方法，训练过程中无需使用标注的污染数据。

Figure 1. Instances of corruption-agnostic robust domain adaptation (CRDA). To our surprise, existing domain adaptation method (CDAN+TN (Wang et al . , 2019 ) ) and corruption robust method (AugMix (Hendrycks et al . , 2020b ) ), even their combination, suffer from unseen corruptions on target domai

实验结果

研究问题

• RQ1 在无污染特定训练数据的前提下，能否使域适应模型对未见污染具备鲁棒性？
• RQ2 如何利用域差异生成逼真、类似污染的扰动，以提升模型鲁棒性？
• RQ3 教师-学生对比学习机制是否能提升无标签目标域上域适应的鲁棒性与泛化能力？
• RQ4 统一框架能否同时提升干净数据上的性能与对多样化污染的鲁棒性？
• RQ5 在域适应中，干净数据准确率与污染鲁棒性之间是否存在权衡？

主要发现

• 所提出的CRDA方法在干净数据与污染数据上均达到最先进性能，在Office-Home数据集的Ar→Rw设置下，最严重对比污染下的错误率为23.0%。
• 与基线相比，DDG模块显著提升了污染鲁棒性，在玻璃模糊与JPEG压缩等严重污染下，错误率最高降低20%。
• 教师-学生预热机制同时提升了原始准确率与鲁棒性，在干净数据上错误率为21.2%，在对比污染下为23.0%，优于数据增强基线。
• 消融实验表明，当DDG中设置更新步长η > 2δ时，即聚焦于δ-环的边缘点，性能最佳，验证了理论分析的合理性。
• 模型学习到顺序不变的表示：即使仅在单一污染严重程度下进行训练，也能在所有严重程度下实现良好泛化，表现为特征距离趋势一致。
• DDG在保持或提升原始域适应准确率的同时增强了鲁棒性，避免了典型的准确率-鲁棒性权衡。

Figure 2. Examples of $15$ kinds of corruptions.