[论文解读] No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data

Mi Luo, Fei Chen+4 more|arXiv (Cornell University)|Jun 9, 2021

Privacy-Preserving Technologies in Data被引用 130

一句话总结

论文表明分类器偏差是在非IID联邦学习中的主要瓶颈，并引入CCVR，一种使用来自估计高斯混合模型的虚拟表示进行后训练校准的方法，在标准基准上显著提升准确率。

ABSTRACT

A central challenge in training classification models in the real-world federated system is learning with non-IID data. To cope with this, most of the existing works involve enforcing regularization in local optimization or improving the model aggregation scheme at the server. Other works also share public datasets or synthesized samples to supplement the training of under-represented classes or introduce a certain level of personalization. Though effective, they lack a deep understanding of how the data heterogeneity affects each layer of a deep classification model. In this paper, we bridge this gap by performing an experimental analysis of the representations learned by different layers. Our observations are surprising: (1) there exists a greater bias in the classifier than other layers, and (2) the classification performance can be significantly improved by post-calibrating the classifier after federated training. Motivated by the above findings, we propose a novel and simple algorithm called Classifier Calibration with Virtual Representations (CCVR), which adjusts the classifier using virtual representations sampled from an approximated gaussian mixture model. Experimental results demonstrate that CCVR achieves state-of-the-art performance on popular federated learning benchmarks including CIFAR-10, CIFAR-100, and CINIC-10. We hope that our simple yet effective method can shed some light on the future research of federated learning with non-IID data.

研究动机与目标

• 研究数据异质性如何影响联邦学习中神经网络各层的表示。
• 确定受非IID数据影响最大的层并诊断分类器性能下降的原因。
• 提出一个简单、隐私保护的分类器校准方法以缓解偏差。
• 证明使用虚拟表示的后训练校准在常见基准上可达到最先进的结果。

提出的方法

• 使用本地模型在非IID数据上通过FedAvg训练，对分层表示进行Centered Kernel Alignment (CKA)的经验分析。
• 观察到分类器层在跨客户端的相似性最低且权重范数存在偏置。
• 对正则化策略（clsnorm、clsprox）以及以IID样本作为基线比较的后校准进行评估。
• 提出使用虚拟表示的分类器校准（CCVR），估计每个类别的特征分布并从高斯混合模型中采样虚拟特征，仅重新训练分类器。
• 隐私保护设计：仅上传局部高斯统计信息；CCVR是事后方法，可以与现有FL方法结合。

实验结果

研究问题

• RQ1 非IID数据是否导致层级表示（特别是分类器）相对于其他层的分化更显著？
• RQ2 在非IID条件下，训练中或训练后对分类器去偏是否能提高全局准确率？
• RQ3 是否使用合成（虚拟）表示的事后、隐私保护校准就能达到最先进的性能？
• RQ4 在什么数据制约和超参数下，CCVR能提供最大的增益？

主要发现

• 在非IID数据下，越深的层的表示分化越明显，分类器在各客户端间表现出最强的偏差。
• 对分类器的后训练校准在CIFAR-10、CIFAR-100和CINIC-10上带来显著的准确性提升，通常超过其他正则化方法。
• 在训练阶段仅对分类器进行正则化在数据异质性较轻时有帮助，但在异质性较高时效果下降；而事后校准保持鲁棒。
• CCVR通过从类别条件高斯混合模型生成虚拟表示，在基线FL方法（如FedAvg、FedProx、MOON）上提供显著改进。
• CCVR的有效性与学习到的特征分布的可分离性相关，以GMM Wasserstein可分离性衡量，在表示已经较强时受益更多。