[论文解读] Optimality and Stability in Federated Learning: A Game-theoretic Approach

Kate Donahue, Jon Kleinberg|arXiv (Cornell University)|Jun 17, 2021

Privacy-Preserving Technologies in Data参考文献 29被引用 14

一句话总结

本文提出了一种博弈论框架用于联邦学习，将代理的联盟形成建模为一种享乐博弈（hedonic game），以在最优性与稳定性之间取得平衡。该文提出了一种高效算法，用于计算最小误差的联盟组合，并建立了9倍的帕累托失效率（Price of Anarchy）上界，表明最差的稳定解相较于最优配置，总误差最多仅恶化九倍。

ABSTRACT

Federated learning is a distributed learning paradigm where multiple agents, each only with access to local data, jointly learn a global model. There has recently been an explosion of research aiming not only to improve the accuracy rates of federated learning, but also provide certain guarantees around social good properties such as total error. One branch of this research has taken a game-theoretic approach, and in particular, prior work has viewed federated learning as a hedonic game, where error-minimizing players arrange themselves into federating coalitions. This past work proves the existence of stable coalition partitions, but leaves open a wide range of questions, including how far from optimal these stable solutions are. In this work, we motivate and define a notion of optimality given by the average error rates among federating agents (players). First, we provide and prove the correctness of an efficient algorithm to calculate an optimal (error minimizing) arrangement of players. Next, we analyze the relationship between the stability and optimality of an arrangement. First, we show that for some regions of parameter space, all stable arrangements are optimal (Price of Anarchy equal to 1). However, we show this is not true for all settings: there exist examples of stable arrangements with higher cost than optimal (Price of Anarchy greater than 1). Finally, we give the first constant-factor bound on the performance gap between stability and optimality, proving that the total error of the worst stable solution can be no higher than 9 times the total error of an optimal solution (Price of Anarchy bound of 9).

研究动机与目标

• 将联邦学习形式化为一种享乐博弈，其中代理通过形成联盟以最小化个体与集体误差。
• 定义并计算一种最优的联盟划分，以最小化所有代理的平均误差。
• 分析稳定性（抗偏离的划分）与最优性（最小总误差）之间的权衡。
• 通过帕累托失效率度量，量化稳定解与最优解之间的最坏情况性能差距。
• 建立该性能差距的常数因子上界，确保在实际联邦学习场景中具备理论保障。

提出的方法

• 将联邦学习建模为一种享乐博弈，其中每个代理的成本即其在联盟中的期望预测误差。
• 提出一种高效算法，用于计算全局最优的联盟划分，以最小化总误差。
• 分析误差函数关于联盟规模的导数，以确定其单调性并识别上界。
• 基于导数系数的符号进行案例分析，以在所有可能的联盟规模下对误差函数进行上界估计。
• 运用代数简化与不等式放缩技术，证明最差稳定解的误差至多为最优解的9倍。
• 在模型参数（如 μₑ ≥ 3σ²N′）上施加假设，以确保推导出的上界在实际联邦学习条件下成立。

实验结果

研究问题

• RQ1 能否设计一种高效算法，以计算联邦学习中最小化总误差的最优联盟划分？
• RQ2 在何种条件下，所有稳定的联盟划分也都是最优的？在何种情况下，不稳定性会导致次优结果？
• RQ3 以帕累托失效率度量，稳定解相对于最优解的最坏性能退化程度如何？
• RQ4 能否在联邦学习的享乐博弈中为帕累托失效率建立常数因子上界？
• RQ5 代理间数据规模与模型方差的差异如何影响稳定性与最优性之间的权衡？

主要发现

• 提供了一种高效算法，用于计算最小化所有代理平均误差的全局最优联盟划分。
• 证明了帕累托失效率至多为9，即最差的稳定联盟划分的总误差不超过最优划分的9倍。
• 在某些参数范围内，所有稳定划分均为最优，此时帕累托失效率恰好为1。
• 一般情况下，稳定解可能次优，但其性能差距被常数因子9所限制。
• 分析表明，误差函数的行为取决于导数符号与联盟规模，通过案例分析可实现紧致的上界估计。
• 在假设 μₑ ≥ 3σ²N′ 成立的前提下，该上界在相关联邦学习设置中保持有效。