[论文解读] No One Left Behind: Real-World Federated Class-Incremental Learning

Jiahua Dong, Li, Hongliu+4 more|arXiv (Cornell University)|Feb 2, 2023

Domain Adaptation and Few-Shot Learning被引用 1

一句话总结

该论文提出了一种用于联邦类增量学习（FCIL）的局部-全局防遗忘（LGA）模型，解决了在新类别逐步到达且新客户端不规则加入的真实场景中灾难性遗忘的问题。该方法结合了类别平衡的梯度自适应补偿损失与类别梯度诱导的语义蒸馏损失，以缓解局部遗忘；同时，代理服务器通过自监督原型增强技术选择最佳全局模型，实现在CIFAR-100数据集上T=10个任务下73.5%的平均准确率，达到当前最优性能。

ABSTRACT

Federated learning (FL) is a hot collaborative training framework via aggregating model parameters of decentralized local clients. However, most FL methods unreasonably assume data categories of FL framework are known and fixed in advance. Moreover, some new local clients that collect novel categories unseen by other clients may be introduced to FL training irregularly. These issues render global model to undergo catastrophic forgetting on old categories, when local clients receive new categories consecutively under limited memory of storing old categories. To tackle the above issues, we propose a novel Local-Global Anti-forgetting (LGA) model. It ensures no local clients are left behind as they learn new classes continually, by addressing local and global catastrophic forgetting. Specifically, considering tackling class imbalance of local client to surmount local forgetting, we develop a category-balanced gradient-adaptive compensation loss and a category gradient-induced semantic distillation loss. They can balance heterogeneous forgetting speeds of hard-to-forget and easy-to-forget old categories, while ensure consistent class-relations within different tasks. Moreover, a proxy server is designed to tackle global forgetting caused by Non-IID class imbalance between different clients. It augments perturbed prototype images of new categories collected from local clients via self-supervised prototype augmentation, thus improving robustness to choose the best old global model for local-side semantic distillation loss. Experiments on representative datasets verify superior performance of our model against comparison methods. The code is available at https://github.com/JiahuaDong/LGA.

研究动机与目标

• 解决在新类别逐步到达且新客户端不规则加入的联邦学习场景中灾难性遗忘的问题。
• 克服因本地客户端数据流中类别不平衡导致的局部遗忘。
• 缓解因客户端间类别分布非独立同分布（Non-IID）引发的全局遗忘。
• 在保护隐私的同时实现在去中心化客户端间的协作学习。
• 在内存与数据约束下确保无本地客户端在持续学习中被遗漏。

提出的方法

• 提出一种类别平衡的梯度自适应补偿损失，根据类别难度动态调整梯度，平衡旧类别间异构的遗忘速度。
• 引入一种类别梯度诱导的语义蒸馏损失，通过利用梯度信息保留任务间一致的类别关系。
• 设计一个代理服务器，通过自监督原型增强技术重建新类别的扰动原型图像。
• 使用原型梯度通信，在不暴露原始数据的前提下，使代理服务器能够选择最佳的旧全局模型用于蒸馏。
• 在本地客户端部署实例记忆，用于存储旧类别的代表性样本，减少局部遗忘。
• 整合本地与全局防遗忘机制，协同提升对旧类别与新类别的整体性能。

实验结果

研究问题

• RQ1 当本地客户端在类别分布不平衡的数据流中学习新类别时，如何避免灾难性遗忘？
• RQ2 当携带新类别的新客户端加入联邦学习系统时，如何使全局模型对非独立同分布（Non-IID）的类别分布保持鲁棒性？
• RQ3 代理服务器能否仅通过基于梯度的原型信息，在不暴露原始数据的前提下有效选择最佳旧全局模型用于蒸馏？
• RQ4 LGA模型在经历大量增量任务且任务顺序不同时，性能退化程度如何？
• RQ5 与现有FCIL基线方法相比，该方法在准确率与遗忘缓解方面表现如何？

主要发现

• LGA模型在CIFAR-100数据集上T=10个增量任务下实现了73.5%的平均准确率，较基线GLFC高出6.6个百分点。
• 模型在不同任务顺序下保持一致的性能表现（准确率73.0–73.5%），表明对任务序列变化具有鲁棒性。
• 当T=20个任务时性能略有下降（准确率为70.6%），但平均仍较GLFC高出4.1个百分点。
• 收敛性分析表明，模型在10个周期内训练性能稳定，表明学习效率高且模型稳定。
• 代理服务器的自监督原型增强技术有效支持了全局模型选择，提升了全局防遗忘能力。
• 类别平衡损失与梯度诱导蒸馏损失协同作用，通过补偿异构遗忘速度并保持类别关系，有效减轻遗忘。