[论文解读] Towards a theory of out-of-distribution learning

Ali Geisa, Ronak Mehta+5 more|arXiv (Cornell University)|Sep 29, 2021

Machine Learning and Algorithms参考文献 60被引用 4

一句话总结

本文通过放宽学习理论中传统的分布内假设，提出了一种广义的分布外（OOD）学习理论。它引入了学习效率（LE）作为量化数据利用效率的度量，并将迁移学习、多任务学习、元学习、持续学习和终身学习统一于一个共同框架下，为人工智能在现实世界中应对分布外挑战提供了理论基础。

ABSTRACT

What is learning? 20 century formalizations of learning theory -- which precipitated revolutions in artificial intelligence -- focus primarily on extit{in-distribution} learning, that is, learning under the assumption that the training data are sampled from the same distribution as the evaluation distribution. This assumption renders these theories inadequate for characterizing 21$^{st}$ century real world data problems, which are typically characterized by evaluation distributions that differ from the training data distributions (referred to as out-of-distribution learning). We therefore make a small change to existing formal definitions of learnability by relaxing that assumption. We then introduce extbf{learning efficiency} (LE) to quantify the amount a learner is able to leverage data for a given problem, regardless of whether it is an in- or out-of-distribution problem. We then define and prove the relationship between generalized notions of learnability, and show how this framework is sufficiently general to characterize transfer, multitask, meta, continual, and lifelong learning. We hope this unification helps bridge the gap between empirical practice and theoretical guidance in real world problems. Finally, because biological learning continues to outperform machine learning algorithms on certain OOD challenges, we discuss the limitations of this framework vis-a-vis its ability to formalize biological learning, suggesting multiple avenues for future research.

研究动机与目标

• 为解决传统分布内学习理论在建模现实世界数据分布漂移方面的局限性。
• 通过放宽训练数据与评估数据同分布的假设，形式化分布外学习。
• 引入学习效率（LE）作为衡量学习者在任意分布下数据利用效率的指标，与分布漂移无关。
• 在广义可学习性框架下统一迁移学习、多任务学习、元学习、持续学习和终身学习等多种学习范式。
• 识别出在建模生物学习方面存在的理论空白，并为未来研究指明方向。

提出的方法

• 通过移除分布内假设，放宽标准可学习性定义，从而支持对分布漂移的分析。
• 引入学习效率（LE）作为在分布内与分布外设置下数据利用效率的定量度量。
• 基于LE定义广义可学习性，并建立不同学习范式之间的数学关系。
• 将该框架应用于分析迁移学习、多任务学习、元学习、持续学习和终身学习作为广义理论的特例。
• 使用形式化定义与证明，验证不同学习范式间的一致性与普适性。
• 比较该框架在建模生物学习方面的局限性，突出当前存在的开放性挑战。

实验结果

研究问题

• RQ1 现有学习理论如何被扩展以处理分布外泛化问题？
• RQ2 在分布外学习场景中，哪些度量能有效量化数据利用效率？
• RQ3 迁移学习、多任务学习、元学习、持续学习和终身学习在何种方式下可被统一于单一理论框架之下？
• RQ4 学习效率（LE）在不同学习范式中与广义可学习性之间存在何种关系？
• RQ5 该框架在建模生物学习过程方面存在哪些理论局限性？

主要发现

• 所提出的框架通过移除分布内假设，广义化了传统可学习性理论，从而支持对现实世界分布漂移的分析。
• 引入学习效率（LE）作为稳健的度量指标，用于量化学习者在分布漂移存在时对数据的有效利用程度。
• 该框架成功地将迁移学习、多任务学习、元学习、持续学习和终身学习统一于单一理论体系之下。
• 形式化证明建立了广义可学习性与学习效率之间的关系，验证了该框架的一致性。
• 该理论指出了在建模生物学习方面存在的关键局限，表明当前的形式化方法尚不足以捕捉生物归纳偏置的完整范围。
• 该工作为在涉及分布漂移的真实世界人工智能应用中，实现理论指导与实证实践的对齐奠定了基础。