[论文解读] Proportional Fairness in Federated Learning

Guojun Zhang, Saber Malekmohammadi+2 more|arXiv (Cornell University)|Feb 3, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文引入比例公平（Proportional Fairness, PF）作为联邦学习中一种新颖的公平性准则，其中客户端性能提升基于其基线表现进行评估，而非绝对损失。作者提出PropFair算法，通过基于相对效用增益的代理损失函数优化，高效近似PF解，在视觉与语言基准上实现了平均性能与最差10%客户端性能之间的良好权衡。

ABSTRACT

With the increasingly broad deployment of federated learning (FL) systems in the real world, it is critical but challenging to ensure fairness in FL, i.e. reasonably satisfactory performances for each of the numerous diverse clients. In this work, we introduce and study a new fairness notion in FL, called proportional fairness (PF), which is based on the relative change of each client's performance. From its connection with the bargaining games, we propose PropFair, a novel and easy-to-implement algorithm for finding proportionally fair solutions in FL and study its convergence properties. Through extensive experiments on vision and language datasets, we demonstrate that PropFair can approximately find PF solutions, and it achieves a good balance between the average performances of all clients and of the worst 10% clients. Our code is available at \url{https://github.com/huawei-noah/Federated-Learning/tree/main/FairFL}.

研究动机与目标

• 为解决联邦学习中的公平性问题，提出基于相对改进而非绝对损失的相对性能评估的成比例公平（PF）准则。
• 提出一种新颖且实用的算法——PropFair，可在具有理论收敛保证的前提下近似联邦学习中的成比例公平解。
• 通过实证验证，PropFair相较于现有公平联邦学习方法，在平均客户端性能与最差10%客户端性能之间实现了更优的平衡。
• 提供公平联邦学习算法的全面基准测试，辅以系统性超参数调优，推动未来研究。

提出的方法

• PropFair将比例公平形式化为纳什议价解，目标是最大化客户端之间相对效用增益的乘积。
• 引入一种代理损失函数，通过基于相对性能增益加权客户端贡献，以促进成比例改进。
• 采用带拉格朗日松弛的对偶优化框架，处理神经网络训练中的非凸性，同时保持公平性目标。
• 在温和假设下，理论上证明其可收敛至驻点，该框架可推广至所提出的统一框架中的其他联邦学习算法。
• 通过使用标准联邦学习训练循环，并基于客户端损失的softmax变换修改客户端权重，实现该方法。
• 设计为与现有联邦学习框架向后兼容，可轻松集成至FedAvg风格的训练流水线。

实验结果

研究问题

• RQ1 基于相对性能变化的比例公平，是否相较于功利主义或平等主义方法，能成为联邦学习中更直观且更均衡的公平性准则？
• RQ2 如何设计一种实用且可收敛的算法，以在具有异构客户端的非凸联邦学习设置中近似成比例公平解？
• RQ3 与现有公平联邦学习方法（如FedAvg、AFL和q-FFL）相比，PropFair在平均性能与最差客户端性能之间实现了怎样的权衡？
• RQ4 在现实客户端异构性条件下，PropFair在多样化视觉与语言基准及现代神经网络架构下的表现如何？
• RQ5 通过系统性超参数调优的基准测试，能否揭示基于PF的方法在公平联邦学习中的一致优势？

主要发现

• PropFair成功在联邦学习中近似了成比例公平解，表现为各客户端的相对效用增益保持平衡且不退化。
• 在视觉与语言数据集上，与FedAvg、AFL和q-FFL相比，PropFair在平均客户端性能与最差10%客户端性能之间实现了更优的权衡。
• 该算法在温和假设下收敛至驻点，为其实际性能提供了理论支持。
• 实证结果表明，PropFair在保持高平均性能的同时，显著提升了最差客户端的性能，有效缩小了异构客户端之间的性能差距。
• 系统性超参数调优的全面基准测试表明，PropFair在多样化设置下始终优于或匹配现有公平联邦学习基线。
• 代码已开源发布于 https://github.com/huawei-noah/Federated-Learning/tree/main/FairFL，支持可复现性与未来公平联邦学习研究。