[论文解读] Unified Group Fairness on Federated Learning

Fengda Zhang, Kun Kuang+7 more|arXiv (Cornell University)|Nov 9, 2021

Privacy-Preserving Technologies in Data参考文献 47被引用 8

一句话总结

本文提出了一种统一的联邦学习群体公平性框架，同时确保客户端层面、属性层面和无偏分布公平性。通过在联邦不确定性集中构建统一的公平性风险，并引入带有动量加速的FMDA-M优化算法，该方法在多种数据分布偏移下实现了卓越的公平性和鲁棒性，优于现有方法在公平性指标和收敛稳定性方面的表现。

ABSTRACT

Federated learning (FL) has emerged as an important machine learning paradigm where a global model is trained based on the private data from distributed clients. However, most of existing FL algorithms cannot guarantee the performance fairness towards different groups because of data distribution shift over groups. In this paper, we formulate the problem of unified group fairness on FL, where the groups can be formed by clients (including existing clients and newly added clients) and sensitive attribute(s). To solve this problem, we first propose a general fair federated framework. Then we construct a unified group fairness risk from the view of federated uncertainty set with theoretical analyses to guarantee unified group fairness on FL. We also develop an efficient federated optimization algorithm named Federated Mirror Descent Ascent with Momentum Acceleration (FMDA-M) with convergence guarantee. We validate the advantages of the FMDA-M algorithm with various kinds of distribution shift settings in experiments, and the results show that FMDA-M algorithm outperforms the existing fair FL algorithms on unified group fairness.

研究动机与目标

• 解决因客户端之间和敏感属性上的数据分布偏移而引起的联邦学习中的公平性差异问题。
• 将客户端层面、属性层面和无偏分布公平性统一到一个连贯的框架中。
• 开发一种理论基础扎实、鲁棒性强的优化算法，保证收敛性的同时在多样化数据分布下维持公平性。
• 在多种非独立同分布（Non-IID）设置下，通过实证验证所提方法在公平性、鲁棒性和收敛性方面的优越性。

提出的方法

• 利用联邦不确定性集建模客户端和敏感属性之间的分布偏移，构建统一的群体公平性风险。
• 提出一种新颖的公平联邦学习框架，为客户端层面和属性层面的公平性风险提供上界。
• 提出带有动量加速的联邦镜像下降-上升算法（FMDA-M），基于Bregman散度的镜像上升实现稳定的群体权重更新。
• 在优化过程中引入动量加速，以提升收敛速度和稳定性。
• 采用基于镜像下降的平滑权重更新规则（公式17），避免由硬投影操作引起的不稳定性。
• 为所提出的统一公平性风险下的FMDA-M算法提供理论收敛保证。

实验结果

研究问题

• RQ1 一个联邦学习框架能否同时实现客户端层面、属性层面和无偏分布公平性？
• RQ2 如何在动态变化的客户端群体和未知未来分布下保证公平性？
• RQ3 何种优化策略能在复杂数据分布偏移下同时保证公平性和收敛稳定性？
• RQ4 在极端非独立同分布（Non-IID）设置下，所提方法与现有公平联邦学习算法相比，在鲁棒性和公平性方面表现如何？

主要发现

• FMDA-M在统一群体公平性方面显著优于DRFA和FedAvg，尤其在极端非独立同分布（Non-IID）数据分布偏移下表现更优。
• 该方法通过在所有设置下保持最差客户端的高性能，实现了卓越的鲁棒性，准确率差异极小。
• FMDA-M在所有测试的分布偏移下均表现出稳定性能，而其他方法在非独立同分布程度增加时性能急剧下降。
• 采用基于Bregman散度的镜像下降而非欧几里得投影，可实现更平滑的权重更新，提升收敛稳定性。
• FMDA-M中的动量加速使收敛速度更快，在更少的通信轮次内达到与DRFA和FMDA相当的公平性和鲁棒性水平。
• 在无偏分布公平性评估中，FMDA-M在测试先前未见过的客户端分布模式时仍保持强劲性能，证实其对新数据分布的适应能力。