[论文解读] ORACLE: Order Robust Adaptive Continual LEarning.

Jaehong Yoon, Saehoon Kim+2 more|arXiv (Cornell University)|Feb 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 16被引用 10

一句话总结

ORACLE 提出了一种新颖的持续学习方法，将模型参数分解为任务共享和任务自适应两部分，后者进一步分解为稀疏低秩矩阵，以最小化参数容量的增长。该设计有效缓解了灾难性遗忘，并显著降低了不同任务顺序下的性能方差，在计算成本更低的情况下优于最先进方法，提升了医疗诊断等现实应用场景中的公平性。

ABSTRACT

The order of the tasks a continual learning model encounters may have large impact on the performance of each task, as well as the task-average performance. This order-sensitivity may cause serious problems in real-world scenarios where fairness plays a critical role (e.g. medical diagnosis). To tackle this problem, we propose a novel order-robust continual learning method, which instead of learning a completely shared set of weights, represent the parameters for each task as a sum of task-shared parameters that captures generic representations and task-adaptive parameters capturing task-specific ones, where the latter is factorized into sparse low-rank matrices in order to minimize capacity increase. With such parameter decomposition, when training for a new task, the task-adaptive parameters for earlier tasks remain mostly unaffected, where we update them only to reflect the changes made to the task-shared parameters. This prevents catastrophic forgetting for old tasks and at the same time make the model less sensitive to the task arrival order. We validate our Order-Robust Adaptive Continual LEarning (ORACLE) method on multiple benchmark datasets against state-of-the-art continual learning methods, and the results show that it largely outperforms those strong baselines with significantly less increase in capacity and training time, as well as obtains smaller performance disparity for each task with different order sequences.

研究动机与目标

• 解决持续学习中顺序敏感性这一关键问题，即任务顺序显著影响模型性能与公平性。
• 在不依赖参数共享的前提下，缓解持续学习中的灾难性遗忘。
• 在保持所有任务高性能的同时，最小化参数容量与训练时间的增加。
• 确保对任务到达顺序的鲁棒性，尤其在医疗诊断等高风险领域至关重要。
• 开发一种参数化方案，使任务自适应组件在学习新任务时基本保持不变。

提出的方法

• 将模型参数分解为捕捉通用表征的任务共享组件和用于任务特定特征的任务自适应组件。
• 将任务自适应参数分解为稀疏低秩矩阵，以限制持续学习过程中的容量扩展。
• 在新任务训练期间仅更新任务共享参数，使先前任务的任务自适应参数基本保持固定。
• 仅当共享参数的变化影响到自适应参数时，才对自适应参数应用梯度更新，从而减少干扰。
• 采用一种解耦任务特定适应与共享表征学习的参数化策略。
• 使用标准的持续学习目标进行端到端训练，利用参数分解在不同任务序列中稳定学习。

实验结果

研究问题

• RQ1 与现有持续学习方法相比，ORACLE 在不同任务顺序下性能方差的降低程度如何？
• RQ2 将参数分解为共享与稀疏低秩自适应组件，对遗忘与容量增长的影响如何？
• RQ3 无论任务以何种顺序呈现，ORACLE 是否都能在所有任务上保持高性能？
• RQ4 在训练时间与模型容量增长方面，ORACLE 与最先进方法相比表现如何？
• RQ5 所提出的方法是否提升了持续学习中的公平性，特别是在任务顺序不可预测或非理想的情况下？

主要发现

• 在多个基准数据集上，ORACLE 在平均任务准确率方面显著优于最先进持续学习方法。
• 该方法在不同任务顺序序列中表现出显著更低的性能差异，表明具有强大的顺序鲁棒性。
• 与强基线方法相比，ORACLE 引发的模型容量与训练时间增加要小得多。
• 在新任务训练期间，任务自适应参数基本保持不变，有助于保留早期任务的知识。
• 稀疏低秩分解的使用有效控制了参数增长，同时保持了高模型表达能力。
• 模型表现出更少的灾难性遗忘，尤其在任务以非理想或对抗性顺序呈现时。