[论文解读] Towards class imbalance in federated learning

Lixu Wang, Shichao Xu+2 more|arXiv (Cornell University)|Aug 14, 2020

Privacy-Preserving Technologies in Data参考文献 27被引用 13

一句话总结

本文提出了一种新颖的框架，用于在联邦学习（FL）中检测和缓解类别不平衡问题，通过引入一种保护隐私的监控方案来推断每轮FL中的数据组成，并提出一种新的损失函数——Ratio Loss，以抵消不平衡的影响。该方法在保持客户端数据隐私的同时，显著提升了基线方法的模型性能。

ABSTRACT

Federated learning (FL) is a promising approach for training decentralized data located on local client devices while improving efficiency and privacy. However, the distribution and quantity of the training data on the clients' side may lead to significant challenges such as data imbalance and non-IID (non-independent and identically distributed) data, which could greatly impact the performance of the common model. While much effort has been devoted to helping FL models converge when encountering non-IID data, the imbalance issue has not been sufficiently addressed. In particular, as FL training is executed by exchanging gradients in an encrypted form, the training data is not completely observable to either clients or server, and previous methods for data imbalance do not perform well for FL. Therefore, it is crucial to design new methods for detecting data imbalance in FL and mitigating its impact. In this work, we propose a monitoring scheme that can infer the composition proportion of training data for each FL round, and design a new loss function -- Ratio Loss to mitigate the impact of the imbalance. Our experiments demonstrate the importance of detecting data imbalance and taking measures as early as possible in FL training, and the effectiveness of our method in mitigating the impact. Our method is shown to significantly outperform previous methods, while maintaining client privacy.

研究动机与目标

• 解决联邦学习中类别不平衡这一研究不足的挑战，即数据在客户端之间分布不均且非独立同分布（non-IID）。
• 克服现有类别不平衡技术依赖直接访问数据的局限性，而此类方法在联邦学习中因隐私约束而不可行。
• 设计一种监控机制，通过不暴露原始数据的方式推断本地数据的类别组成，从而实现实时不平衡检测。
• 开发一种新的损失函数——Ratio Loss，以在联邦学习训练过程中减轻类别不平衡的负面影响，同时保护客户端隐私。

提出的方法

• 提出一种监控方案，通过分析跨联邦学习轮次交换的梯度，推断每个客户端的相对类别分布，而无需访问原始数据。
• 利用梯度统计的统计分析方法，估算本地客户端数据中各类别的比例，实现实时不平衡检测。
• 引入Ratio Loss，一种可微分的损失函数，根据推断出的类别分布动态调整各类别的损失权重，以实现训练平衡。
• 将监控和损失组件整合到联邦学习训练流程中，使服务器在更新模型时能够感知数据不平衡问题。
• 通过仅在加密梯度上操作，确保隐私安全，避免暴露任何原始客户端数据或标签。
• 设计该方法以兼容标准联邦学习框架，支持在实际场景中无缝部署。

实验结果

研究问题

• RQ1 我们能否在不直接访问客户端数据或标签的情况下检测联邦学习中的类别不平衡？
• RQ2 基于梯度的监控方案在联邦学习训练过程中估算本地数据类别组成方面有多有效？
• RQ3 一种新型损失函数——Ratio Loss，能在多大程度上缓解联邦学习中因类别不平衡导致的性能下降？
• RQ4 早期检测和缓解不平衡是否能提升联邦学习的收敛速度和模型准确率？
• RQ5 所提出的方法能否在有效解决联邦学习中的数据不平衡问题的同时，保持客户端隐私？

主要发现

• 所提出的监控方案能够高精度地推断本地数据的类别分布，从而可靠地检测各客户端之间的数据不平衡。
• 与标准交叉熵损失相比，Ratio Loss在类别不平衡的联邦学习设置中显著提升了少数类别的模型性能。
• 监控与Ratio Loss的结合使收敛速度更快，整体准确率高于基线方法。
• 早期检测和缓解不平衡可带来更鲁棒且泛化能力更强的模型，尤其在高度非独立同分布和数据分布偏斜的场景中表现更优。
• 该方法通过仅在加密梯度上操作，有效保护了客户端隐私，未暴露任何原始数据或标签。
• 实验结果表明，无论在何种不平衡水平下，所提出方法在准确率和公平性指标上均优于现有方法。