[论文解读] No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data

Mi Luo, Fei Chen+4 more|arXiv (Cornell University)|Jun 9, 2021

Privacy-Preserving Technologies in Data参考文献 48被引用 39

一句话总结

论文在联邦学习中处理非IID数据时显示，分类器层是偏差的主要来源，并提出 CCVR，一种使用虚拟高斯表征的后训练分类器校准，在 CIFAR-10、CIFAR-100 和 CINIC-10 上实现了最先进的结果。

ABSTRACT

A central challenge in training classification models in the real-world federated system is learning with non-IID data. To cope with this, most of the existing works involve enforcing regularization in local optimization or improving the model aggregation scheme at the server. Other works also share public datasets or synthesized samples to supplement the training of under-represented classes or introduce a certain level of personalization. Though effective, they lack a deep understanding of how the data heterogeneity affects each layer of a deep classification model. In this paper, we bridge this gap by performing an experimental analysis of the representations learned by different layers. Our observations are surprising: (1) there exists a greater bias in the classifier than other layers, and (2) the classification performance can be significantly improved by post-calibrating the classifier after federated training. Motivated by the above findings, we propose a novel and simple algorithm called Classifier Calibration with Virtual Representations (CCVR), which adjusts the classifier using virtual representations sampled from an approximated gaussian mixture model. Experimental results demonstrate that CCVR achieves state-of-the-art performance on popular federated learning benchmarks including CIFAR-10, CIFAR-100, and CINIC-10. We hope that our simple yet effective method can shed some light on the future research of federated learning with non-IID data.

研究动机与目标

• 研究数据异质性如何影响用联邦学习训练的深度网络的不同层。
• 确认在非IID数据下，分类器层为什么表现出最强的层间差异。
• 开发一个隐私保护的分类器校准方法，以在后训练阶段提升准确性。

提出的方法

• 将模型分解为特征提取器和线性分类器，并使用 Centered Kernel Alignment (CKA) 分析层级表示相似性。
• 证明在非IID数据下，分类器层具有最低的跨客户端表示相似性，且分类器权重范数会变得有偏。
• 在训练过程中对分类器进行正则化策略（clsnorm、clsprox），以及用于分析的后训练 IID 数据校准（oracle）。
• 提出 Classifier Calibration with Virtual Representations (CCVR)，它使用局部统计量估计每类的特征分布，从高斯混合模型采样虚拟特征，并在这些虚拟特征上重新训练分类器。
• 提供隐私保护的理由：CCVR 仅使用客户端上传的高斯统计量，而非原始数据或特征。

实验结果

研究问题

• RQ1 非IID 数据如何影响联邦学习模型中不同层的表示？
• RQ2 在非IID 联邦训练下，分类器层是否比其他层偏差更大，校准是否能缓解这一偏差？
• RQ3 使用虚拟表征的事后、隐私保护校准是否能在标准 FL 基准测试中显著提升准确性？
• RQ4 与训练时正则化方法相比，CCVR 在非IID 条件下提高分类性能的效果如何？

主要发现

• CKA 分析显示，在非IID 数据下，分类器层具有最低的跨客户端表示相似性。
• 分类器权重范数对样本较多的类别变得有偏，导致全局性能下降。
• 在 mild 异质性下对分类器进行训练时的正则化有帮助，但在强异质性下效果较差；使用真实数据的后训练校准能显著提升准确性。
• CCVR 使用从学习到的高斯混合模型中采样的虚拟表征，在 CIFAR-10、CIFAR-100 和 CINIC-10 上带来显著的精度提升，且可超越若干基线 FL 方法。
• CCVR 即使在校准数据有限的情况下也能提供显著收益，并且不需要对底层联邦训练过程进行修改。
• CCVR 的表现与表示类别特征的高斯混合模型可分离性相关，通常更多的虚拟特征数量在更高异质性下能提升结果。