[论文解读] Open Domain Generalization with Domain-Augmented Meta-Learning

Shu Yang, Zhangjie Cao+3 more|arXiv (Cornell University)|Apr 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 55被引用 8

一句话总结

本文提出了一种名为领域增强元学习（DAModel）的新框架，用于开放域泛化（OpenDG），以解决源域间分布偏移及标签集差异的问题。通过引入狄利克雷混合增强（Dirichup）进行特征级增强，以及蒸馏软标签（distilled soft-labeling）实现标签级知识迁移，DAModel 实现了在增强后的领域上进行元学习，从而在未见目标域上实现了最先进性能，显著提升了对已知类和开放类的泛化能力。

ABSTRACT

Leveraging datasets available to learn a model with high generalization ability to unseen domains is important for computer vision, especially when the unseen domain's annotated data are unavailable. We study a novel and practical problem of Open Domain Generalization (OpenDG), which learns from different source domains to achieve high performance on an unknown target domain, where the distributions and label sets of each individual source domain and the target domain can be different. The problem can be generally applied to diverse source domains and widely applicable to real-world applications. We propose a Domain-Augmented Meta-Learning framework to learn open-domain generalizable representations. We augment domains on both feature-level by a new Dirichlet mixup and label-level by distilled soft-labeling, which complements each domain with missing classes and other domain knowledge. We conduct meta-learning over domains by designing new meta-learning tasks and losses to preserve domain unique knowledge and generalize knowledge across domains simultaneously. Experiment results on various multi-domain datasets demonstrate that the proposed Domain-Augmented Meta-Learning (DAML) outperforms prior methods for unseen domain recognition.

研究动机与目标

• 解决深度模型在未知分布和标签集的目标域上泛化的问题。
• 克服现有领域泛化方法的局限性，这些方法通常假设标签集共享或需要目标域数据。
• 开发一个统一框架，学习在标签集差异较大的源域之间具有泛化能力的表示。
• 实现在标签集重叠程度低或缺乏目标数据的前提下，跨域间有效知识迁移。

提出的方法

• 提出一种新颖的开放域泛化（OpenDG）问题设定，无需对标签集、目标数据或目标域微调做出任何假设。
• 引入狄利克雷混合增强（Dir-mixup），一种基于狄利克雷分布采样生成跨多个领域多样化混合样本的特征级增强方法。
• 应用蒸馏软标签技术，将其他领域训练网络的知识迁移至每个源领域中缺失的类别表示，以丰富类别表征。
• 设计领域增强的元学习任务与损失函数，在保留领域特定知识的同时促进跨领域泛化。
• 利用所有源领域网络的集成预测，自然校准不确定性，提升开放集识别的鲁棒性。
• 在增强后的领域上进行元学习，学习到对未见领域具有强泛化能力的表示，且归纳偏差最小。

Figure 1: Open Domain Generalization (OpenDG). Different source domains hold disparate label sets. The goal is to learn generalizable representations from these source domains to help classify the known classes and detect open classes in the unseen target domain.

实验结果

研究问题

• RQ1 元学习框架能否有效泛化到标签集和分布均不同的源域？
• RQ2 特征级与标签级的领域增强如何提升开放域泛化中的泛化性能？
• RQ3 狄利克雷混合增强是否优于标准混合增强，以促进表示多样性与泛化？
• RQ4 蒸馏软标签在提升少数类与缺失类性能方面有多大作用？
• RQ5 在领域增强数据上进行元学习能否有效提升对未见目标域的零样本泛化能力？

主要发现

• DAModel 在 OpenDG 基准上实现了 56.5% 的平均准确率，显著优于先前方法如 CuMix 和 AGG。
• 消融实验表明，将 Dir-mixup 与蒸馏软标签结合元学习可获得最高性能，在 Office-Home 数据集上达到 56.5% 的平均准确率。
• 使用 Dir-mixup 替代标准混合增强，平均准确率提升 1.3%，证明多领域混合增强在提升多样性方面的优势。
• 引入蒸馏软标签后，平均准确率提升 1.2%，证实其在跨领域知识迁移中的有效性。
• 在领域增强数据上进行元学习可降低源域与目标域特征之间的弗雷歇距离，表明领域对齐效果更好。
• 模型在目标域的开放集部分达到 53.1% 的准确率，表明其对未知类具有强大的泛化能力。

Figure 2: The architecture of the proposed DAML framework. We show the computation graph for source domain 1 as an example, and the other source domains are computed similarly. In the meta-training (up part, left to right), each source domain is augmented by Dir-mixup (red) and distilled soft-labeli