[论文解读] Preventing Zero-Shot Transfer Degradation in Continual Learning of Vision-Language Models

Zangwei Zheng, Mingyuan Ma+4 more|arXiv (Cornell University)|Mar 12, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出 ZSCL，一种面向视觉-语言模型的新型持续学习方法，通过从初始预训练模型在语义多样参考数据集上蒸馏知识，并结合参数权重集成策略，有效防止零样本迁移性能下降。ZSCL 在新提出的多领域任务增量学习基准上实现最先进性能，平均准确率相较先前方法提升 9.7%。

ABSTRACT

Continual learning (CL) can help pre-trained vision-language models efficiently adapt to new or under-trained data distributions without re-training. Nevertheless, during the continual training of the Contrastive Language-Image Pre-training (CLIP) model, we observe that the model's zero-shot transfer ability significantly degrades due to catastrophic forgetting. Existing CL methods can mitigate forgetting by replaying previous data. However, since the CLIP dataset is private, replay methods cannot access the pre-training dataset. In addition, replaying data of previously learned downstream tasks can enhance their performance but comes at the cost of sacrificing zero-shot performance. To address this challenge, we propose a novel method ZSCL to prevent zero-shot transfer degradation in the continual learning of vision-language models in both feature and parameter space. In the feature space, a reference dataset is introduced for distillation between the current and initial models. The reference dataset should have semantic diversity but no need to be labeled, seen in pre-training, or matched image-text pairs. In parameter space, we prevent a large parameter shift by averaging weights during the training. We propose a more challenging Multi-domain Task Incremental Learning (MTIL) benchmark to evaluate different methods, where tasks are from various domains instead of class-separated in a single dataset. Our method outperforms other methods in the traditional class-incremental learning setting and the MTIL by 9.7% average score. Our code locates at https://github.com/Thunderbeee/ZSCL.

研究动机与目标

• 解决预训练视觉-语言模型在持续学习中的灾难性遗忘问题，特别是零样本迁移能力的退化。
• 克服基于回放的方法因 CLIP 预训练数据集具有私密性而带来的局限性。
• 开发一种在增量学习过程中同时保持特征空间知识与参数稳定性的方法。
• 引入更具挑战性的多领域任务增量学习（MTIL）基准，以更好地评估持续学习方法。
• 在不同训练顺序与任务分布下实现稳健性能，尤其在零样本泛化方面表现优异。

提出的方法

• 引入一个语义多样但无标签、无配对图像-文本数据的参考数据集，用于在特征空间中进行蒸馏。
• 使用原始预训练的 CLIP 模型作为知识蒸馏的教师模型，而非当前微调后的模型。
• 应用知识蒸馏损失，以保留参考图像与文本嵌入之间的相对相似性，最小化特征空间偏差。
• 在训练阶段之间实施权重集成策略，防止参数发生大幅偏移，有效实现初始模型与微调后模型权重的插值。
• 结合特征空间蒸馏与参数空间正则化，联合缓解表示空间与模型权重空间中的遗忘问题。
• 设计一个包含多样化领域（如食物、车辆、风景等）任务的多领域任务增量学习（MTIL）基准，用于测试泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 当预训练数据集不可访问时，能否在视觉-语言模型的持续学习中防止零样本迁移性能下降？
• RQ2 使用无标签、语义多样的参考数据集，从初始预训练模型进行知识蒸馏，在保持零样本性能方面有多高效？
• RQ3 通过权重集成实现的参数空间正则化，是否能提升视觉-语言持续学习中的稳定性与泛化能力？
• RQ4 在更具挑战性、类现实世界训练顺序与多领域任务序列下，所提方法表现如何？
• RQ5 像 MTIL 这样的新基准能否更有效地评估视觉-语言模型持续学习方法的鲁棒性与泛化能力？

主要发现

• 在所提出的多领域任务增量学习（MTIL）基准上，ZSCL 相较于先前方法平均准确率提升 9.7%。
• 在 CIFAR100 的类别增量学习设置下，ZSCL 实现 82.15% 的平均准确率与 73.65% 的最终任务准确率，分别优于次优方法（iCaRL）+7.68% 与 +7.73%。
• 在 TinyImageNet 上，ZSCL 实现 80.27% 的平均准确率与 73.57% 的最终任务准确率，分别较之前最先进方法（iCaRL）提升 +10.65% 与 +8.27%。
• ZSCL 在不同训练顺序（如 Order-I 与 Order-II）下保持一致性能，最终得分仅下降 0.2%，表明其具有高度鲁棒性。
• 该方法显著减少了灾难性遗忘，尤其在大步长训练下，对零样本迁移与下游任务性能的退化均有明显缓解。
• 消融实验表明，使用原始 CLIP 模型作为教师模型以及采用语义多样的参考数据集，对性能提升至关重要。