[论文解读] Tackling Dynamics in Federated Incremental Learning with Variational Embedding Rehearsal

Tae Jin Park, Kenichi Kumatani+1 more|arXiv (Cornell University)|Oct 19, 2021

Privacy-Preserving Technologies in Data参考文献 22被引用 8

一句话总结

本文提出了一种新型框架——基于变分嵌入回放的联邦增量学习（Federated Incremental Learning with Variational Embedding Rehearsal, FIL-VER），该框架利用深度变分嵌入技术在保护客户端数据隐私的同时，缓解动态联邦学习环境下的灾难性遗忘问题。通过在服务器端回放客户端学习到的嵌入表示，并动态处理客户端参与度的变化，FIL-VER在领域增量学习场景下的性能与离线训练相当。

ABSTRACT

Federated Learning is a fast growing area of ML where the training datasets are extremely distributed, all while dynamically changing over time. Models need to be trained on clients' devices without any guarantees for either homogeneity or stationarity of the local private data. The need for continual training has also risen, due to the ever-increasing production of in-task data. However, pursuing both directions at the same time is challenging, since client data privacy is a major constraint, especially for rehearsal methods. Herein, we propose a novel algorithm to address the incremental learning process in an FL scenario, based on realistic client enrollment scenarios where clients can drop in or out dynamically. We first propose using deep Variational Embeddings that secure the privacy of the client data. Second, we propose a server-side training method that enables a model to rehearse the previously learnt knowledge. Finally, we investigate the performance of federated incremental learning in dynamic client enrollment scenarios. The proposed method shows parity with offline training on domain-incremental learning, addressing challenges in both the dynamic enrollment of clients and the domain shifting of client data.

研究动机与目标

• 解决在非平稳、非独立同分布数据分布及动态客户端参与条件下联邦学习中的灾难性遗忘问题。
• 通过使用变分嵌入而非原始数据进行回放，保护客户端数据隐私。
• 通过使用客户端提供的嵌入表示进行服务器端训练（SST），实现有效知识保留。
• 评估该方法在不同客户端参与动态（如客户端数量增加、减少或分散参与）下的鲁棒性。
• 在存在隐私和数据分布约束的前提下，证明该方法在领域增量学习场景下可达到与离线训练相当的性能。

提出的方法

• 该方法采用变分嵌入编码器（VEE）从客户端数据中学习潜在表示，将嵌入与原始输入解耦，以确保隐私。
• 客户端模型在本地数据上进行训练，并生成变分嵌入；这些嵌入被采样后传输至服务器用于回放。
• 提出一种新型服务器端训练（SST）机制，在服务器端对客户端提供的嵌入进行回放，从而在不访问原始客户端数据的情况下防止遗忘。
• 该框架将嵌入回放与联邦学习相结合，使模型能够在持续适应新数据流的同时，保持对先前任务的性能。
• 该方法在四种动态客户端参与场景下进行评估：稳定、减少、增加和分散的客户端参与。
• 在传输过程中向嵌入添加噪声，以进一步防止原始数据的重建，从而增强隐私保障。

实验结果

研究问题

• RQ1 当客户端动态加入和离开时，如何在联邦增量学习中缓解灾难性遗忘？
• RQ2 变分嵌入能否在有效实现知识回放的同时，有效保护隐私？
• RQ3 与仅客户端回放相比，使用客户端提供的嵌入进行服务器端训练在多大程度上提升了模型性能？
• RQ4 在客户端参与度变化（如减少或分散参与）的情况下，系统表现如何？
• RQ5 所提出的方法是否能在领域增量学习设置下实现与离线训练相当的性能？

主要发现

• 所提出的FIL-VER框架即使在动态客户端参与条件下，也能在领域增量学习中实现与离线训练相当的性能。
• 服务器端训练（SST）显著提升了准确率，尤其在客户端参与度有限的场景（如分散或减少的客户端基础）中表现突出。
• 即使每项任务仅有一个客户端参与，该方法也能在所有任务上保持高验证准确率，展现出对稀疏数据的强鲁棒性。
• 基于VER的方法（使用变分嵌入）表现出优异的性能和隐私保障，优于传输原始嵌入的基线方法。
• 所有场景下的平均准确率保持稳定且具有竞争力，尽管客户端动态变化显著，性能未出现明显下降。
• 该框架能有效缓解灾难性遗忘，尤其在客户端数量减少等挑战性条件下，SST显著降低了性能下降幅度。