[论文解读] Towards Fairness-Aware Federated Learning

Yuxin Shi, Han Yu+1 more|arXiv (Cornell University)|Nov 2, 2021

Privacy-Preserving Technologies in Data被引用 7

一句话总结

本文首次全面综述了公平感知联邦学习（FAFL），提出了一个涵盖客户端选择、优化、贡献评估和激励分配的FAFL方法分类体系。文章识别了联邦学习中的公平性挑战，回顾了关键度量指标，并提出了确保联邦系统中可持续、公平协作的未来研究方向。

ABSTRACT

Recent advances in Federated Learning (FL) have brought large-scale collaborative machine learning opportunities for massively distributed clients with performance and data privacy guarantees. However, most current works focus on the interest of the central controller in FL,and overlook the interests of the FL clients. This may result in unfair treatment of clients that discourages them from actively participating in the learning process and damages the sustainability of the FL ecosystem. Therefore, the topic of ensuring fairness in FL is attracting a great deal of research interest. In recent years, diverse Fairness-Aware FL (FAFL) approaches have been proposed in an effort to achieve fairness in FL from different perspectives. However, there is no comprehensive survey that helps readers gain insight into this interdisciplinary field. This paper aims to provide such a survey. By examining the fundamental and simplifying assumptions, as well as the notions of fairness adopted by existing literature in this field, we propose a taxonomy of FAFL approaches covering major steps in FL, including client selection, optimization, contribution evaluation and incentive distribution. In addition, we discuss the main metrics for experimentally evaluating the performance of FAFL approaches, and suggest promising future research directions towards FAFL.

研究动机与目标

• 解决公平感知联邦学习（FAFL）这一新兴跨学科领域缺乏全面综述的问题。
• 识别并分析联邦学习关键阶段中的公平性问题：客户端选择、模型优化、贡献评估和激励分配。
• 基于联邦学习流程的主要步骤，提出FAFL方法的系统化分类体系。
• 回顾并评估FAFL研究中现有的公平性度量指标与实验基准。
• 提出有前景的未来研究方向，以增强联邦学习生态系统的公平性、鲁棒性与可持续性。

提出的方法

• 提出一种新颖的FAFL方法分类体系，按核心联邦学习流程阶段组织：客户端选择、优化、贡献评估和激励分配。
• 分析现有FAFL文献中采用的基本假设与公平性概念，包括功利主义公平、平等主义公平与程序公平。
• 调研优先考虑公平性而非以服务器为中心目标（如收敛速度或模型准确率）的客户端选择方法。
• 研究在不暴露私有数据的前提下估计客户端贡献的贡献评估技术，利用数据质量、数量或边际模型性能提升。
• 回顾基于客户端贡献分配奖励的激励机制，以应对“搭便车”问题。
• 整合博弈论、社会规范与可解释性研究的洞见，提出稳健且可建立信任的FAFL框架。

实验结果

研究问题

• RQ1 现有FAFL方法在联邦学习流程的不同阶段如何定义并实现公平性？
• RQ2 当前FAFL研究中采用的主要假设与公平性概念（如功利主义、平等主义）是什么？
• RQ3 公平性问题在联邦学习的客户端选择、模型优化、贡献评估与激励分配中如何表现？
• RQ4 用于衡量FAFL算法性能与公平性的常用度量指标有哪些？
• RQ5 实现可持续、公平的联邦学习的关键开放挑战与未来研究方向是什么？

主要发现

• 联邦学习中的公平性问题贯穿所有阶段：不公平的客户端选择会排除低能力客户端，导致泛化性能下降并减少参与度。
• 基于全局损失最小化的模型优化可能忽视本地数据分布的多样性，导致在个别客户端数据上产生预测偏差。
• 当客户端贡献不同时，对所有客户端分发相同模型的激励机制会被视为不公平，从而加剧‘搭便车’问题。
• 贡献评估对公平性至关重要，但现有方法常依赖自报数据或边际性能提升，可能无法真实反映其实际影响。
• 现有FAFL方法在非货币激励机制中对模型性能的控制仍不精确，限制了实际部署。
• 未来FAFL研究应探索博弈论机制、社会规范形成与可解释性，以建立信任、防范恶意行为，同时保护隐私。