[论文解读] Quantifying and Improving Transferability in Domain Generalization

Guojun Zhang, Han Zhao+2 more|arXiv (Cornell University)|Jun 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 61被引用 6

一句话总结

本文提出了领域泛化中可迁移性的新形式化定义，通过衡量跨领域过剩风险的不变性来度量。提出了一种经验估计可迁移性的方法，并开发了一种新型对抗性训练算法，提升了特征可迁移性，在PACS、Office-Home和WILDS-FMoW等基准上实现了最先进性能。

ABSTRACT

Out-of-distribution generalization is one of the key challenges when transferring a model from the lab to the real world. Existing efforts mostly focus on building invariant features among source and target domains. Based on invariant features, a high-performing classifier on source domains could hopefully behave equally well on a target domain. In other words, the invariant features are \emph{transferable}. However, in practice, there are no perfectly transferable features, and some algorithms seem to learn "more transferable" features than others. How can we understand and quantify such \emph{transferability}? In this paper, we formally define transferability that one can quantify and compute in domain generalization. We point out the difference and connection with common discrepancy measures between domains, such as total variation and Wasserstein distance. We then prove that our transferability can be estimated with enough samples and give a new upper bound for the target error based on our transferability. Empirically, we evaluate the transferability of the feature embeddings learned by existing algorithms for domain generalization. Surprisingly, we find that many algorithms are not quite learning transferable features, although few could still survive. In light of this, we propose a new algorithm for learning transferable features and test it over various benchmark datasets, including RotatedMNIST, PACS, Office-Home and WILDS-FMoW. Experimental results show that the proposed algorithm achieves consistent improvement over many state-of-the-art algorithms, corroborating our theoretical findings.

研究动机与目标

• 为解决领域泛化中理论不变性假设与实际性能之间的差距，特别是在分布偏移下的表现。
• 将可迁移性形式化并量化为跨领域过剩风险的不变性，而非仅特征或预测器的不变性。
• 开发一种从数据中经验估计可迁移性的实用方法，利用对抗性扰动和经验风险最小化。
• 设计一种新算法，显式优化可迁移性，从而在领域偏移下提升泛化能力。
• 通过实证验证，许多现有方法尽管在源域表现良好，却未能学习到可迁移特征。

提出的方法

• 将可迁移性定义为跨领域过剩风险（预测器风险与贝叶斯风险之差）的不变性，捕捉联合特征-标签分布偏移。
• 推导出基于可迁移性的目标误差新上界，直接关联到泛化性能。
• 提出一种基于小半径δ内对抗性扰动的经验估计程序，用于评估学习特征的可迁移性。
• 引入一种新训练算法，通过对抗性训练优化可迁移性，鼓励在各领域对小输入扰动保持鲁棒性。
• 采用双流训练设置：一个特征编码器和一个预测器，结合领域判别和对抗性正则化以提升可迁移性。
• 使用类似元学习的内循环来模拟扰动并优化鲁棒性，其中超参数如δ和内循环步数经过调优以提升性能。

实验结果

研究问题

• RQ1 如何在现有差异度量（如总变差或Wasserstein距离）之外，形式化并量化领域泛化中的可迁移性？
• RQ2 现有领域泛化算法在多大程度上真正学习到了可迁移特征，以过剩风险不变性为度量标准？
• RQ3 基于可迁移性估计的新训练目标能否在未见目标领域上实现更好的泛化性能？
• RQ4 所提方法在多样化的基准上与最先进算法相比，在鲁棒性和准确率方面表现如何？
• RQ5 对抗性半径δ和内循环步数等超参数对可迁移性和模型性能有何影响？

主要发现

• 许多现有领域泛化算法（包括ERM和GroupDRO）表现出较差的可迁移性：在小扰动下，源域准确率保持较高，而目标域准确率显著下降。
• 所提算法在PACS、Office-Home、RotatedMNIST和WILDS-FMoW上均一致优于最先进方法，PACS上测试准确率最高达97.6%，Office-Home上达92.33%。
• 在Office-Home数据集上，CORAL和SD表现出更高可迁移性，而RSC和MMD在扰动下性能急剧下降，表明鲁棒性差。
• 通过对抗性扰动（δ）进行可迁移性估计，能有效识别出泛化能力差的模型，即使其在源域表现良好。
• 基于可迁移性的目标误差上界与实际测试性能高度相关，验证了其理论合理性。
• 该方法表明，提升可迁移性可带来更好的泛化性能，甚至在分布偏移下超越VREx和MMD等复杂方法。