[论文解读] On the benefits of representation regularization in invariance based domain generalization

Changjian Shui, Boyu Wang+1 more|arXiv (Cornell University)|May 30, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文指出，在领域泛化中，仅学习不变表示不足以实现对未见环境的鲁棒泛化，原因在于表示非平滑。为此，本文提出雅可比矩阵正则化方法，以强制表示函数满足利普希茨连续性，该方法在理论上界定了测试误差，并在多个数据集和不变性准则下，无需修改现有算法即可在实践中提升性能。

ABSTRACT

A crucial aspect in reliable machine learning is to design a deployable system in generalizing new related but unobserved environments. Domain generalization aims to alleviate such a prediction gap between the observed and unseen environments. Previous approaches commonly incorporated learning invariant representation for achieving good empirical performance. In this paper, we reveal that merely learning invariant representation is vulnerable to the unseen environment. To this end, we derive novel theoretical analysis to control the unseen test environment error in the representation learning, which highlights the importance of controlling the smoothness of representation. In practice, our analysis further inspires an efficient regularization method to improve the robustness in domain generalization. Our regularization is orthogonal to and can be straightforwardly adopted in existing domain generalization algorithms for invariant representation learning. Empirical results show that our algorithm outperforms the base versions in various dataset and invariance criteria.

研究动机与目标

• 探究为何在分布移位下，仅学习不变表示在领域泛化中会失效。
• 识别在未见环境中泛化性能差的根本原因，特别是非平滑或复杂表示的影响。
• 推导出依赖于表示平滑度的测试误差理论上限。
• 提出一种实用的正则化方法——雅可比矩阵正则化，以强制表示函数满足利普希茨连续性。
• 证明所提方法可在不修改现有领域泛化框架的前提下，提升多种数据集和不变性准则下的性能。

提出的方法

• 理论分析推导出测试环境误差的上界，其表达式基于表示函数的利普希茨常数。
• 证明利普希茨连续性是控制未见环境中泛化误差的充分条件。
• 提出雅可比矩阵正则化作为强制表示函数利普希茨性质的实用方法。
• 正则化通过在表示网络的雅可比矩阵的Frobenius范数上施加惩罚来实现。
• 该方法与现有基于不变性的领域泛化算法正交，可直接集成到其中。
• 在多个基准数据集（如PACS、Office-Home、digits）上进行实证验证，使用多种不变性准则和网络架构。

实验结果

研究问题

• RQ1 为何在最小化源域风险的前提下，学习不变表示仍无法泛化到未见环境中？
• RQ2 在领域泛化中，确保测试误差较小所需的理论条件是什么？
• RQ3 表示函数的平滑度如何影响泛化性能？
• RQ4 基于雅可比的正则化是否能在不修改核心不变性目标的前提下提升领域泛化的鲁棒性？
• RQ5 与数据增强相比，所提正则化在隐式平滑表示方面的正则化效果如何？

主要发现

• 理论分析表明，表示函数的利普希茨常数可直接界定未见环境中的泛化误差。
• 非平滑表示——尤其是复杂或高度变化的表示——即使满足不变性准则，也容易受分布移位影响。
• 雅可比矩阵正则化能有效控制利普希茨常数，并在多个数据集和不变性准则下提升鲁棒性。
• 实证结果表明，所提方法在不同不变性目标下，对PACS、Office-Home和digits数据集的基线模型均有持续的性能提升。
• 即使与强数据增强结合，该正则化仍有效，表明其捕捉了一种独特且互补的归纳偏置。
• 该方法具有普适性，可无缝集成到现有领域泛化框架中，无需架构修改。