[论文解读] Understanding Continual Learning Settings with Data Distribution Drift Analysis

Timothée Lesort, M. Caccia+1 more|arXiv (Cornell University)|Apr 4, 2021

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

本文提出了一种分布漂移框架，用于系统性地分类持续学习中的上下文漂移——即数据分布或目标分布的突变或渐变。通过形式化不同漂移类型及其假设，作者为持续学习场景提供了精确的定义，从而促进算法评估，并更好地与现实世界设置对齐。

ABSTRACT

Classical machine learning algorithms often assume that the data are drawn i.i.d. from a stationary probability distribution. Recently, continual learning emerged as a rapidly growing area of machine learning where this assumption is relaxed, i.e. where the data distribution is non-stationary and changes over time. This paper represents the state of data distribution by a context variable $c$. A drift in $c$ leads to a data distribution drift. A context drift may change the target distribution, the input distribution, or both. Moreover, distribution drifts might be abrupt or gradual. In continual learning, context drifts may interfere with the learning process and erase previously learned knowledge; thus, continual learning algorithms must include specialized mechanisms to deal with such drifts. In this paper, we aim to identify and categorize different types of context drifts and potential assumptions about them, to better characterize various continual-learning scenarios. Moreover, we propose to use the distribution drift framework to provide more precise definitions of several terms commonly used in the continual learning field.

研究动机与目标

• 为解决持续学习（CL）场景缺乏清晰、标准化定义的问题，该问题阻碍了算法评估与比较。
• 识别并分类不同类型的上下文漂移——包括突变与渐变、输入分布与目标分布的偏移——这些漂移会干扰持续学习。
• 提出一个基于分布漂移的正式框架，以更精确地定义和表征持续学习设置。
• 通过基于明确定义的漂移假设来开展评估，提升基准测试与现实世界应用之间的对齐性。
• 阐明假设与监督在持续学习中的作用，特别是在元学习和少样本适应设置中。

提出的方法

• 通过上下文变量 $ c $ 表示数据分布的变化，其中 $ c $ 的漂移会引发分布偏移。
• 根据漂移是否影响输入分布、目标分布或两者，以及是否为突变或渐变，对漂移进行分类。
• 利用该漂移框架重新定义常见的持续学习术语（如类别增量、领域增量），并赋予其基于分布的正式定义。
• 提出一种场景描述协议，包含显式的漂移注释和假设，以提升基准测试的可复现性。
• 分析假设（如任务相似性、不变性）对元学习和迁移学习在持续学习设置下的影响。
• 区分基准测试（用于受控评估）与实际应用场景（用于现实世界验证），主张谨慎设计基准测试，以避免对人工假设的过拟合。

实验结果

研究问题

• RQ1 如何在持续学习中对上下文漂移进行形式化分类，以改善场景表征？
• RQ2 哪些类型的分布漂移（如突变、渐变、输入-目标偏移）对持续学习的干扰最为显著，且需要采用不同的算法解决方案？
• RQ3 关于漂移的假设（如任务相似性、不变性）如何影响元学习和基于正则化方法的持续学习算法的性能？
• RQ4 当前的基准测试在多大程度上反映了现实世界中的分布漂移？如何改进以避免对人工假设的过拟合？
• RQ5 监督和隐式信号在分布漂移条件下实现持续学习中扮演何种角色？它们在何种情况下会变得不足？

主要发现

• 本文确立了灾难性遗忘源于上下文变量 $ c $ 的分布漂移，这种漂移可能影响输入分布、目标分布或两者。
• 研究指出漂移可为突变或渐变，且这种区分对设计有效的持续学习算法至关重要。
• 作者证明了现有持续学习术语（如类别增量、领域增量）缺乏正式基础，并提出基于分布漂移重新定义这些术语。
• 该框架表明，元学习方法在很大程度上依赖于支持任务与测试任务之间的相似性，尤其是在漂移类型和底层假设方面。
• 研究认为，基准测试必须精心设计，以避免对特定假设的过拟合；现实世界应用场景不应替代基准测试，而应为其设计提供指导。
• 本文结论指出，具备详细标注和漂移感知的场景描述，对于评估持续学习算法以及实现向真实应用的迁移至关重要。