[论文解读] Rethinking Client Drift in Federated Learning: A Logit Perspective

Yunlu Yan, Chun-Mei Feng+6 more|arXiv (Cornell University)|Aug 20, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

该论文提出FedCSD，一种新型联邦学习框架，通过基于类别原型相似性的蒸馏方法对齐本地与全局模型logits，缓解客户端漂移问题。通过自适应过滤不可靠的全局软标签（采用动态掩码机制），FedCSD有效减少灾难性遗忘，在非独立同分布（non-IID）数据设置下性能优于当前最先进方法，在CIFAR-100和FEMNIST上准确率最高达71.53%。

ABSTRACT

Federated Learning (FL) enables multiple clients to collaboratively learn in a distributed way, allowing for privacy protection. However, the real-world non-IID data will lead to client drift which degrades the performance of FL. Interestingly, we find that the difference in logits between the local and global models increases as the model is continuously updated, thus seriously deteriorating FL performance. This is mainly due to catastrophic forgetting caused by data heterogeneity between clients. To alleviate this problem, we propose a new algorithm, named FedCSD, a Class prototype Similarity Distillation in a federated framework to align the local and global models. FedCSD does not simply transfer global knowledge to local clients, as an undertrained global model cannot provide reliable knowledge, i.e., class similarity information, and its wrong soft labels will mislead the optimization of local models. Concretely, FedCSD introduces a class prototype similarity distillation to align the local logits with the refined global logits that are weighted by the similarity between local logits and the global prototype. To enhance the quality of global logits, FedCSD adopts an adaptive mask to filter out the terrible soft labels of the global models, thereby preventing them to mislead local optimization. Extensive experiments demonstrate the superiority of our method over the state-of-the-art federated learning approaches in various heterogeneous settings. The source code will be released.

研究动机与目标

• 解决由数据异质性及非独立同分布数据分布引起的联邦学习中客户端漂移问题。
• 探究本地与全局模型之间logits差异在性能下降中的作用。
• 通过基于类别原型相似性的方法，将本地logits与优化后的全局logits对齐，提升模型泛化能力。
• 防止知识蒸馏过程中低质量全局软标签带来的误导。
• 开发一种通信高效的联邦学习方法，在保持全局知识的同时适应本地数据分布。

提出的方法

• FedCSD引入基于类别原型相似性的蒸馏机制，通过与全局类别原型的相似度加权，对齐本地logits与全局logits。
• 采用自适应掩码机制，选择性过滤不可靠的全局软标签，保留早期训练中虽错误但具价值的预测结果。
• 自适应掩码根据全局模型准确率动态调整过滤率，随着性能提升逐步降低过滤强度，避免过度过滤。
• 通过基于本地logits与全局原型相似度的加权平均，对全局logits进行优化，提升知识迁移质量。
• 本地损失函数结合交叉熵损失与蒸馏损失，后者惩罚本地模型对优化后全局logits的偏离。
• 每轮仅传输一次全局模型的原型矩阵，通信开销极低（O(|Y|²)）。

实验结果

研究问题

• RQ1 在非独立同分布数据设置下，联邦训练过程中本地与全局模型logits差异如何演化？
• RQ2 logits偏移在联邦学习性能下降中起到多大程度的贡献？
• RQ3 将本地与全局logits对齐是否能有效缓解特征分布偏移并提升泛化能力？
• RQ4 全局软标签的质量在联邦学习知识蒸馏中产生何种影响？如何改进？
• RQ5 采用可保留部分错误软标签的自适应掩码，是否相比严格过滤策略能进一步提升泛化性能？

主要发现

• 在标签偏移设置下（β=5），FedCSD在CIFAR-100上达到71.53%的测试准确率，优于FedAvg及其他SOTA方法。
• 自适应掩码在全局模型准确率提升后仍持续优于强制移除所有错误软标签的严格掩码策略，尤其在训练后期表现更优。
• 在FEMNIST数据集上，FedCSD显著减少了特征分布偏移，使特征空间中类别聚类更清晰、决策边界更合理。
• 相比FedAvg，该方法展现出更快收敛速度与更稳定的训练曲线，尤其在标签偏移设置下优势明显。
• 可视化结果证实，FedCSD有效保留了全局知识于本地模型中，防止了对本地数据偏差的过拟合。
• 通信开销极低，每轮仅需传输|Y|×|Y|大小的原型矩阵，具备良好的可扩展性。