[论文解读] Respecting Domain Relations: Hypothesis Invariance for Domain Generalization

Ziqi Wang, Marco Loog+1 more|arXiv (Cornell University)|Oct 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 47被引用 8

一句话总结

该论文提出假设不变表示（HIRs）用于域泛化，通过将不同域的分类器预测对齐而非对齐原始表示，从而放宽了域不变表示（DIRs）的严格不变性要求。实验表明，HIRs在严重数据损坏下优于DIRs，甚至可与利用先验域知识的方法相媲美。

ABSTRACT

In domain generalization, multiple labeled non-independent and non-identically distributed source domains are available during training while neither the data nor the labels of target domains are. Currently, learning so-called domain invariant representations (DIRs) is the prevalent approach to domain generalization. In this work, we define DIRs employed by existing works in probabilistic terms and show that by learning DIRs, overly strict requirements are imposed concerning the invariance. Particularly, DIRs aim to perfectly align representations of different domains, i.e. their input distributions. This is, however, not necessary for good generalization to a target domain and may even dispose of valuable classification information. We propose to learn so-called hypothesis invariant representations (HIRs), which relax the invariance assumptions by merely aligning posteriors, instead of aligning representations. We report experimental results on public domain generalization datasets to show that learning HIRs is more effective than learning DIRs. In fact, our approach can even compete with approaches using prior knowledge about domains.

研究动机与目标

• 为解决域不变表示（DIRs）的过度约束问题，后者强制源域表示完全对齐，可能丢弃有用的分类信息。
• 通过聚焦于分类器预测（后验）对齐而非原始表示，放宽域泛化中的不变性要求。
• 在不依赖域关系先验知识的情况下，保留域之间的有用结构关系（如旋转或损坏模式）。
• 通过学习基于预测的鲁棒不变性，证明HIRs可在未见目标域上有效泛化，即使在严重数据损坏下亦然。
• 表明HIRs优于标准DIRs，并可与利用强先验知识（如旋转MNIST）的方法相媲美。

提出的方法

• 使用概率框架定义域泛化中表示的充分性与不变性，扩展信息论中的概念。
• 提出假设不变表示（HIRs），通过在不同源域之间对齐后验（即模型预测）而非对齐输入表示。
• 使用损失函数最小化来自不同域的预测类别分布之间的差异，近似后验对齐而无需显式密度估计。
• 引入超参数α以平衡HIR损失与标准交叉熵分类损失，实现对后验对齐的可控控制。
• 在成对与非成对数据上均应用HIR损失，表明在域关系更复杂的非成对设置中性能更优。
• 在多样化基准上进行评估：旋转MNIST（成对/非成对设置）、VLCS（四个独立域）和Tiny ImageNet-C（七种严重损坏），采用ResNet50和CCSA架构。

Figure 1: The graphical model shows the relationship from domain $D$ , class $Y$ to the input data $X$ . A latent representation $Z$ is learned to predict $\hat{Y}$ . If $Y$ is independent of $D$ , $P_{Y|D}=P_{Y}$ . Else if $Y$ is dependent on $D$ , $P_{Y|D}\neq P_{Y}$ , which is denoted as an arrow

实验结果

研究问题

• RQ1 域不变表示（DIRs）强制的严格表示对齐是否对有效域泛化是必要的？
• RQ2 通过在域之间对齐分类器预测（后验）是否能比对齐原始表示带来更好的泛化性能？
• RQ3 在无先验知识的情况下，保留表示空间中域的相对空间结构是否能提升泛化能力？
• RQ4 HIR损失在严重且多样的数据损坏（如模糊和噪声）下表现如何？
• RQ5 HIRs能否实现与利用强先验知识（如域偏移信息）的方法相当的性能？

主要发现

• HIRs在所有评估数据集上均优于DIRs，包括旋转MNIST、VLCS和Tiny ImageNet-C，证明其具备更优的域泛化能力。
• 在Tiny ImageNet-C上，HIRs通过有效对齐七种严重损坏类型下的发散后验，实现了最先进性能，即使未将干净图像作为一域包含在内。
• HIR损失在非成对训练设置中更有效，此时后验差异更大，表明HIRs能从域的结构性差异中受益。
• 对于噪声损坏（如高斯噪声、脉冲噪声），较高的α值可提升性能；而对于模糊损坏，较低的α值更优，表明其对损坏类型的自适应敏感性。
• 尽管未依赖此类信息，HIRs仍可达到或超越利用强先验知识（如旋转MNIST）的方法的性能。
• 在旋转MNIST的成对设置中，HIR损失因后验相似度过高导致过拟合，证实HIRs在域关系非平凡且多样的情况下最为有效。

Figure 2: Representations of three domains. Colors represent the two classes of the three domains. This shows that learning DIRs is too strict compared to learning HIRs because representations $Z$ of the three domains are hypothesis invariant as in ( 4 ) but not domain invariant as in ( 2 ) and ( 3