[论文解读] Sequoia: A Software Framework to Unify Continual Learning Research

Fabrice Normandin, Florian Golemo+11 more|arXiv (Cornell University)|Aug 2, 2021

Respiratory viral infections research参考文献 54被引用 4

一句话总结

Sequoia 是一个统一的软件框架，通过基于共享假设的分层设置分类法组织持续学习（CL）研究，实现持续监督学习（CSL）与持续强化学习（CRL）之间的方法继承与复用。该框架通过标准化评估并支持开源扩展，减少了重复工作，提升了可复现性，并加速了研究进展。

ABSTRACT

The field of Continual Learning (CL) seeks to develop algorithms that accumulate knowledge and skills over time through interaction with non-stationary environments. In practice, a plethora of evaluation procedures (settings) and algorithmic solutions (methods) exist, each with their own potentially disjoint set of assumptions. This variety makes measuring progress in CL difficult. We propose a taxonomy of settings, where each setting is described as a set of assumptions. A tree-shaped hierarchy emerges from this view, where more general settings become the parents of those with more restrictive assumptions. This makes it possible to use inheritance to share and reuse research, as developing a method for a given setting also makes it directly applicable onto any of its children. We instantiate this idea as a publicly available software framework called Sequoia, which features a wide variety of settings from both the Continual Supervised Learning (CSL) and Continual Reinforcement Learning (CRL) domains. Sequoia also includes a growing suite of methods which are easy to extend and customize, in addition to more specialized methods from external libraries. We hope that this new paradigm and its first implementation can help unify and accelerate research in CL. You can help us grow the tree by visiting www.github.com/lebrice/Sequoia.

研究动机与目标

• 解决由于评估设置分散和假设不一致导致的持续学习（CL）研究碎片化问题。
• 通过统一方法论框架，减少持续监督学习（CSL）与持续强化学习（CRL）之间的重复工作。
• 通过提供共享的软件基础设施与清晰的配置和评估协议，提升 CL 领域的可复现性与标准化水平。
• 使研究人员能够在多样化设置下，以模块化、可扩展且互操作的环境开发与评估 CL 方法。
• 通过允许为通用设置开发的方法可直接继承并应用于更具体的子设置，加速 CL 领域的进展。

提出的方法

• 将每个 CL 设置定义为一组假设的集合（例如，任务 ID 是否可用、任务边界知识是否存在），构成树状层次结构的基础。
• 构建一个分层分类法，其中更通用的设置（父节点）继承假设，而更受限制的设置（子节点）增加约束，从而通过继承实现方法复用。
• 将框架实现为 Sequoia，一个公开可用的开源软件库，支持 CSL 与 CRL，提供标准化、可组合的环境与数据集。
• 集成不断增长的 CL 方法套件，包括来自外部库的方法，提供可扩展的接口以支持自定义方法的开发与评估。
• 通过标准化指标（包括最终性能、在线性能和归一化运行时间）支持在多样化设置下的评估。
• 通过允许为 CSL 设计的方法应用于 CRL 设置，反之亦然，实现跨范式兼容性，尤其适用于经验回放等技术。

实验结果

研究问题

• RQ1 如何系统性地组织持续学习设置的多样性，以减少冗余并提升方法复用性？
• RQ2 统一的软件框架在多大程度上能减少持续监督学习与持续强化学习之间的重复工作？
• RQ3 假设的分层分类法是否能够实现方法在不同设置间的直接继承，从而提升可复现性与评估一致性？
• RQ4 该框架如何支持在不同设置与资源约束下对 CL 方法进行标准化、可复现的评估？
• RQ5 共享基础设施对监督学习与强化学习场景下新 CL 算法的开发与比较有何影响？

主要发现

• CL 设置的分层分类法支持方法继承，即在通用设置中开发的方法可自动适用于所有更具体的子设置。
• Sequoia 通过在 CSL 与 CRL 之间共享核心技术（如经验回放）的实现，显著减少了重复工作，该效果在 MonsterKong 与 MuJoCo 基准测试中得到验证。
• 实证评估表明，最终性能与在线性能之间存在明确的权衡：如 DQN 等离策略算法在最终性能上表现更优，而 PPO 等同策略算法在在线性能上更优。
• 该框架支持 CRL 中的有效迁移学习，如在 Continual-MonsterKong 中 PPO 的迁移矩阵所示，对角线以上的正奖励表明方法成功泛化至未见过的任务。
• 如 GEM 与 GDumb 等方法在增量监督学习中实现了最佳的性能-运行时间权衡，尽管 GDumb 不支持在线推理，但仍作为强有力的基线。
• 该框架支持可定制的环境配置，如在 MonsterKong 中，可系统性地改变布局、奖励与视觉特征，以测试策略泛化能力。