[论文解读] SLCA: Slow Learner with Classifier Alignment for Continual Learning on a Pre-trained Model

Gengwei Zhang, Liyuan Wang+3 more|arXiv (Cornell University)|Mar 9, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出SLCA，一种针对预训练模型持续学习（CLPM）的简单但高效的方法，通过结合慢速学习策略与分类器对齐，缓解表示层的渐进过拟合问题并提升分类泛化能力。通过选择性降低表示层的学习率并事后对齐不同任务间的类别分布，SLCA实现了最先进性能，在Split ImageNet-R上比顺序微调方法提升高达50.05%，显著优于现有方法。

ABSTRACT

The goal of continual learning is to improve the performance of recognition models in learning sequentially arrived data. Although most existing works are established on the premise of learning from scratch, growing efforts have been devoted to incorporating the benefits of pre-training. However, how to adaptively exploit the pre-trained knowledge for each incremental task while maintaining its generalizability remains an open question. In this work, we present an extensive analysis for continual learning on a pre-trained model (CLPM), and attribute the key challenge to a progressive overfitting problem. Observing that selectively reducing the learning rate can almost resolve this issue in the representation layer, we propose a simple but extremely effective approach named Slow Learner with Classifier Alignment (SLCA), which further improves the classification layer by modeling the class-wise distributions and aligning the classification layers in a post-hoc fashion. Across a variety of scenarios, our proposal provides substantial improvements for CLPM (e.g., up to 49.76%, 50.05%, 44.69% and 40.16% on Split CIFAR-100, Split ImageNet-R, Split CUB-200 and Split Cars-196, respectively), and thus outperforms state-of-the-art approaches by a large margin. Based on such a strong baseline, critical factors and promising directions are analyzed in-depth to facilitate subsequent research. Code has been made available at: https://github.com/GengDavid/SLCA.

研究动机与目标

• 为解决在持续学习预训练模型（CLPM）中因使用统一学习率导致表示层对增量任务过拟合的问题。
• 通过更有效地调整表示层与分类层，提升预训练知识在各任务间的泛化能力。
• 为CLPM建立一个强大且简洁的基线，超越现有的提示工程与微调方法。
• 识别影响CLPM性能的关键因素，如预训练范式与下游任务粒度。

提出的方法

• 通过选择性降低表示层的学习率，引入慢速学习策略，以防止过拟合并维持泛化能力。
• 提出一种事后分类器对齐（CA）方法，通过建模类别级特征分布并在不同任务间对齐预测结果，以提升分类层性能。
• 利用每类特征的均值和协方差统计量（μ_c, Σ_c）计算对齐，实现在不微调主干网络的前提下实现有效分布匹配。
• 为提升效率，将协方差矩阵简化为方差（σ²_c），将存储需求降低至ViT-B/16参数量的0.18%，且准确率损失极小。
• 以事后方式应用分类器对齐，避免在表示学习过程中产生干扰，否则将导致性能下降。
• 采用慢速学习与CA结合的顺序微调作为强基线，避免使用复杂的适配器或提示机制。

实验结果

研究问题

• RQ1 为何传统顺序微调基线在CLPM中表现不如提示工程方法，尽管其使用了预训练模型？
• RQ2 在持续学习过程中，简单的慢速学习策略在多大程度上能缓解预训练模型表示层的渐进过拟合？
• RQ3 事后分类器对齐在不微调主干网络的前提下，对提升分类泛化能力有多有效？
• RQ4 预训练范式（监督式与自监督式）与下游任务粒度如何影响CLPM性能？
• RQ5 轻量级、事后的对齐方法能否在CLPM中超越复杂的提示工程方法？

主要发现

• SLCA在Split CIFAR-100上将顺序微调性能提升高达49.76%，在Split ImageNet-R上提升50.05%，在Split CUB-200上提升44.69%，在Split Cars-196上提升40.16%，显著优于最先进方法。
• 仅使用慢速学习策略，即可在ImageNet-21K监督预训练下，将Split CIFAR-100性能提升47.09%，Split ImageNet-R提升44.85%，有效缓解表示层的渐进过拟合。
• 结合层归一化的分类器对齐（CA+LN）带来显著收益——在Split CUB-200上最高达19.64%的提升，尤其在细粒度下游任务中表现突出。
• 即使在表示固定不变的情况下，事后分类器对齐仍能提升性能，证明其有效性与表示更新无关。
• 该方法计算效率高，对齐操作仅增加总推理时间的0.67%至5%，且存储开销极低（仅ViT-B/16参数量的0.18%）。
• 自监督预训练导致基线与联合训练之间性能差距更大，凸显了为下游持续学习量身定制更优预训练范式的必要性。