[论文解读] PILOT: A Pre-Trained Model-Based Continual Learning Toolbox

Hailong Sun, Da-Wei Zhou+2 more|arXiv (Cornell University)|Sep 13, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

PILOT 是一个基于 PyTorch 的工具箱，支持使用预训练模型（PTMs）进行类增量持续学习（CIL），整合了最先进的基于 PTM 的方法（如 L2P、DualPrompt 和 CODA-Prompt），以及针对 PTMs 适配的传统 CIL 算法（例如 FOSTER、DER、MEMO）。实验表明，在 CIFAR100 和 ImageNet-R 等基准测试中，重新实现的传统方法通常优于专用的提示方法，从而建立了基于 PTM 的持续学习统一基准。

ABSTRACT

While traditional machine learning can effectively tackle a wide range of problems, it primarily operates within a closed-world setting, which presents limitations when dealing with streaming data. As a solution, incremental learning emerges to address real-world scenarios involving new data's arrival. Recently, pre-training has made significant advancements and garnered the attention of numerous researchers. The strong performance of these pre-trained models (PTMs) presents a promising avenue for developing continual learning algorithms that can effectively adapt to real-world scenarios. Consequently, exploring the utilization of PTMs in incremental learning has become essential. This paper introduces a pre-trained model-based continual learning toolbox known as PILOT. On the one hand, PILOT implements some state-of-the-art class-incremental learning algorithms based on pre-trained models, such as L2P, DualPrompt, and CODA-Prompt. On the other hand, PILOT also fits typical class-incremental learning algorithms (e.g., DER, FOSTER, and MEMO) within the context of pre-trained models to evaluate their effectiveness.

研究动机与目标

• 为解决当前持续学习工具箱中缺乏对预训练模型（PTMs）在类增量学习（CIL）中支持的问题。
• 在统一框架内实现对基于 PTM 的方法与传统 CIL 算法的系统性评估与比较。
• 通过提供一个标准化、可扩展且高效的基于 PTM 的 CIL 工具箱，促进持续学习研究。
• 证明当传统 CIL 方法被适配至 PTMs 时，可在标准基准上超越专用提示方法。

提出的方法

• PILOT 实现了一个模型工厂，可使用预训练的视觉 Transformer 或视觉-语言模型作为主干网络，实例化 CIL 模型。
• 支持基于样本和无样本的 CIL 算法，且内存策略可配置（每类固定内存或总内存大小固定）。
• 该工具箱集成了最先进的基于 PTM 的 CIL 方法，如 L2P、DualPrompt 和 CODA-Prompt，这些方法通过可学习提示来适应冻结的 PTM 以应对新类别。
• 传统 CIL 方法（如 FOSTER、DER、MEMO）被重新实现于 PTM 框架中，以实现与提示方法的直接比较。
• 学习率、批量大小、优化器设置以及提示相关参数（如 prompt_pool 大小、g_prompt_length）等超参数可通过 JSON 配置文件进行配置。
• 训练循环按任务顺序处理数据，增量更新分类器，并在每个任务后对所有已见类别进行性能评估，以衡量灾难性遗忘程度。

实验结果

研究问题

• RQ1 当传统 CIL 算法被适配至预训练模型时，是否能在类增量持续学习中实现优于专用提示方法的性能？
• RQ2 在持续学习中，基于样本与无样本策略在预训练模型上的表现如何？
• RQ3 在标准基准上，最先进的基于 PTM 的 CIL 方法（如 L2P、CODA-Prompt）与重新实现的传统方法相比，性能相对如何？
• RQ4 与随机初始化相比，使用预训练模型进行模型初始化在多大程度上提升了持续学习性能？
• RQ5 选择不同的预训练主干网络（如 ViT、CLIP）如何影响不同 CIL 策略的有效性？

主要发现

• 在 10 阶段的 ImageNet-R 基准上，带样本的 FOSTER 实现了平均准确率（A̅）82.49 和最终准确率（AB）76.00，优于 CODA-Prompt（A̅：78.48，AB：73.40）和 ADAM w/ Adapter（A̅：79.39，AB：72.87）。
• 在 ImageNet-R 设置下，FOSTER 的平均准确率比 ADAM w/ Adapter 高 3.1 个百分点，比 CODA-Prompt 高 2.6 个百分点。
• 在 CIFAR100 上，FOSTER 在所有测试方法中取得了最高的最终准确率（87.92），甚至超过了最佳提示方法 CODA-Prompt（86.85）。
• 当传统方法（如 FOSTER 和 MEMO）被适配至 PTMs 时，在所有基准测试中，其平均准确率和最终准确率均持续优于专用提示方法。
• 在 PTM 框架中重新实现基于样本的方法（如 iCaRL 和 DER）表现出色，表明样本机制在结合预训练特征时依然有效。
• 无样本方法如 L2P 和 DualPrompt 虽取得有竞争力的结果，但在 CIFAR100 和 ImageNet-R 上仍逊于基于样本的 FOSTER 和 MEMO。