[论文解读] Understanding the Limits of Unsupervised Domain Adaptation via Data Poisoning

Akshay Mehra, Bhavya Kailkhura+2 more|arXiv (Cornell University)|Jul 8, 2021

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出了无监督域自适应（UDA）中目标域误差的理论下界，揭示了尽管最小化源域误差和域差异，仍无法保证目标域泛化的原因在于所诱导的标注函数不匹配。作者提出了利用此漏洞的数据 poisoning 攻击，仅用 10% 的污染数据即可将 UDA 准确率降至接近 0%，展示了当前 UDA 方法在对抗性数据分布下的脆弱性。

ABSTRACT

Unsupervised domain adaptation (UDA) enables cross-domain learning without target domain labels by transferring knowledge from a labeled source domain whose distribution differs from that of the target. However, UDA is not always successful and several accounts of `negative transfer' have been reported in the literature. In this work, we prove a simple lower bound on the target domain error that complements the existing upper bound. Our bound shows the insufficiency of minimizing source domain error and marginal distribution mismatch for a guaranteed reduction in the target domain error, due to the possible increase of induced labeling function mismatch. This insufficiency is further illustrated through simple distributions for which the same UDA approach succeeds, fails, and may succeed or fail with an equal chance. Motivated from this, we propose novel data poisoning attacks to fool UDA methods into learning representations that produce large target domain errors. We evaluate the effect of these attacks on popular UDA methods using benchmark datasets where they have been previously shown to be successful. Our results show that poisoning can significantly decrease the target domain accuracy, dropping it to almost 0% in some cases, with the addition of only 10% poisoned data in the source domain. The failure of these UDA methods demonstrates their limitations at guaranteeing cross-domain generalization consistent with our lower bound. Thus, evaluating UDA methods in adversarial settings such as data poisoning provides a better sense of their robustness to data distributions unfavorable for UDA.

研究动机与目标

• 识别无监督域自适应（UDA）中的根本局限，这些局限导致即使最小化了源域误差和域差异，也无法保证目标域泛化。
• 形式化一个依赖于表示映射在源域和目标域上诱导的标注函数不匹配的目标域误差下界。
• 证明 UDA 方法对数据分布极为敏感，特别是在缺乏目标标签的情况下，成功与失败的可能性相等。
• 设计并评估新型数据 poisoning 攻击，以利用此敏感性，表明少量对抗性数据即可导致 UDA 性能灾难性下降。
• 倡导在标准基准之外进行对抗性评估，以更好地评估 UDA 方法对不利数据分布的鲁棒性。

提出的方法

• 推导一个依赖于表示映射在源域和目标域上诱导的标注函数差异的目标域误差理论下界。
• 分析三种不同的数据分布情形：有利情形（标注函数匹配）、不利情形（标注函数不匹配）以及模糊情形（由于缺乏目标标签，成功与失败的可能性相等）。
• 提出干净标签 poisoning 攻击，通过最小化与目标域表示的距离，同时保持接近基础数据点，生成对抗性样本。
• 将双层优化问题公式化，以生成误导 UDA 模型学习错误域不变表示的污染数据。
• 在基准数据集（如 MNIST → MNIST-M）上评估攻击效果，使用主流 UDA 方法，测量污染后的目标准确率下降情况。
• 采用两阶段攻击流程：首先使用公式 (4) 生成污染数据，然后在污染后的源数据上微调 UDA 模型，以评估性能退化程度。

实验结果

研究问题

• RQ1 能否为 UDA 中的目标域误差推导出一个理论下界，以解释标准上界之外的失败情形？
• RQ2 为何 UDA 方法在最小化源域误差和域差异后仍会失败，其根本原因是什么？
• RQ3 是否存在一种数据分布情形，使得 UDA 的成功与失败可能性相等，原因在于缺乏目标标签信息？
• RQ4 能否设计出利用标注函数不匹配的 poisoning 攻击，以极小量的污染数据导致 UDA 模型灾难性失败？
• RQ5 poisoning 在多大程度上揭示了 UDA 方法在真实世界中对不利分布的真正鲁棒性？

主要发现

• 所提出的下界表明，仅最小化源域误差和域差异不足以保证泛化，原因在于诱导出的标注函数不匹配。
• 在模糊情形下（由于缺乏目标标签，成功与失败可能性相等），少量污染数据可使分布偏向失败，导致性能急剧下降。
• 仅在源域中使用 10% 的污染数据，MNIST → MNIST-M 等基准数据集上的 UDA 准确率即降至接近 0%，显示出极强的脆弱性。
• 使用目标域数据作为基础点的干净标签 poisoning 效果显著优于使用源域数据，尤其在小扰动约束下。
• 攻击通过使跨域的错误类别对齐，或阻止正确类别在表示空间中彼此接近，直接导致目标误差上升。
• 结果表明，仅在基准数据集上评估 UDA 方法是不够的；必须通过数据 poisoning 进行对抗性测试，才能有效评估其对不利数据分布的鲁棒性。