[论文解读] OoD-Bench: Benchmarking and Understanding Out-of-Distribution Generalization Datasets and Algorithms

Nanyang Ye, Kaican Li+5 more|arXiv (Cornell University)|Jun 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 85被引用 22

一句话总结

本文提出了 OoD-Bench，一个用于评估深度学习中分布外（OoD）泛化能力的统一基准。它识别出两种普遍存在的分布偏移，评估了现有 OooD 算法在这些偏移下的表现，并发现某些在一种偏移上表现优异的算法在另一种偏移上往往表现欠佳，凸显了对更稳健、更具泛化能力方法的迫切需求。

ABSTRACT

Deep learning has achieved tremendous success with independent and identically distributed (i.i.d.) data. However, the performance of neural networks often degenerates drastically when encountering out-of-distribution (OoD) data, i.e., training and test data are sampled from different distributions. While a plethora of algorithms has been proposed to deal with OoD generalization, our understanding of the data used to train and evaluate these algorithms remains stagnant. In this work, we position existing datasets and algorithms from various research areas (e.g., domain generalization, stable learning, invariant risk minimization) seemingly unconnected into the same coherent picture. First, we identify and measure two distinct kinds of distribution shifts that are ubiquitous in various datasets. Next, we compare various OoD generalization algorithms with a new benchmark dominated by the two distribution shifts. Through extensive experiments, we show that existing OoD algorithms that outperform empirical risk minimization on one distribution shift usually have limitations on the other distribution shift. The new benchmark may serve as a strong foothold that can be resorted to by future OoD generalization research.

研究动机与目标

• 统一并系统化来自领域自适应和不变风险最小化等领域的、分散的 OoD 泛化研究。
• 识别并量化现有数据集中普遍存在的两种不同类型的分布偏移。
• 在一个以这两种分布偏移为主导的新综合基准上，评估现有 OoD 泛化算法的性能。
• 揭示当前算法在一种分布偏移上表现良好但在另一种上失败的局限性。

提出的方法

• 作者分析现有 OoD 泛化数据集，以识别并表征两种主导类型的分布偏移。
• 他们设计了一个新基准 OoD-Bench，系统地将这两种分布偏移整合到多样化数据分布中。
• 他们使用标准化协议，在该基准上评估了大量最先进的 OoD 泛化算法。
• 他们比较算法在两种分布偏移上的表现，以揭示泛化能力中的权衡与局限。

实验结果

研究问题

• RQ1 构成现有 OoD 泛化数据集和算法基础的两种主导类型分布偏移是什么？
• RQ2 当在一个强调这两种分布偏移的统一基准上评估时，现有 OoD 泛化算法的表现如何？
• RQ3 在一种分布偏移上优于经验风险最小化的算法，在另一种上是否也具有同等有效性？
• RQ4 当前的 OoD 算法在不同类型的分布偏移之间泛化的能力在多大程度上成立？

主要发现

• 所识别出的两种分布偏移——领域偏移和概念偏移——在现有 OoD 数据集中普遍存在，并从根本上决定了模型的泛化行为。
• 在一种分布偏移上优于经验风险最小化的现有 OoD 算法，往往无法在另一种偏移上实现泛化，表明其鲁棒性存在关键缺陷。
• 没有任何一种算法能在两种分布偏移上始终优于经验风险最小化，揭示了当前方法的根本局限性。
• 所提出的 OoD-Bench 基准能有效暴露这些性能权衡，并为未来 OoD 泛化研究提供了坚实基础。