[论文解读] On the Convergence of Federated Optimization in Heterogeneous Networks.

Anit Kumar Sahu, Tian Li+4 more|arXiv (Cornell University)|Dec 14, 2018

Privacy-Preserving Technologies in Data被引用 230

一句话总结

该论文提出 FedProx，一种新颖的联邦优化框架，通过重新参数化 FedAvg 以应对统计异构性和系统异构性，从而提升异构网络中的收敛稳定性。在高度非独立同分布（non-IID）和系统异构的设置下，与 FedAvg 相比，其测试准确率平均提高了 22%，并在现实条件下提供了理论收敛保证。

ABSTRACT

Federated Learning is a distributed learning paradigm with two key challenges that differentiate it from traditional distributed optimization: (1) significant variability in terms of the systems characteristics on each device in the network (systems heterogeneity), and (2) non-identically distributed data across the network (statistical heterogeneity). In this work, we introduce a framework, FedProx, to tackle heterogeneity in federated networks. FedProx can be viewed as a generalization and re-parametrization of FedAvg, the current state-of-the-art method for federated learning. While this re-parameterization makes only minor modifications to the method itself, these modifications have important ramifications both in theory and in practice. Theoretically, we provide convergence guarantees for our framework when learning over data from non-identical distributions (statistical heterogeneity), and while adhering to device-level systems constraints by allowing each participating device to perform a variable amount of work (systems heterogeneity). Practically, we demonstrate that FedProx allows for more robust convergence than FedAvg across a suite of realistic federated datasets. In particular, in highly heterogeneous settings, FedProx demonstrates significantly more stable and accurate convergence behavior relative to FedAvg---improving absolute test accuracy by 22% on average.

研究动机与目标

• 解决联邦学习中的统计异构性挑战，即设备间数据分布不一致。
• 应对系统异构性，即设备在计算能力和通信约束方面存在差异。
• 为在两种异构性条件下联邦优化提供理论收敛保证。
• 提升联邦学习模型在真实、非独立同分布（non-IID）和资源受限环境下的鲁棒性和准确性。

提出的方法

• 通过在局部目标函数中引入一个近端项，对 FedAvg 进行重构，从而在数据分布不一致的情况下实现更好的收敛性。
• 允许每个设备根据其系统约束执行可变数量的本地计算，以适应系统异构性。
• 引入一个超参数以控制与全局模型的接近程度，平衡局部优化与全局一致性。
• 将局部优化问题表述为最小化一个包含数据拟合项和与全局模型距离的正则化损失函数。
• 理论分析表明，在数据分布不一致和可变本地计算条件下，算法可收敛至平稳点。
• 该框架在保持与 FedAvg 向后兼容的同时，显著提升了异构环境下的性能。

实验结果

研究问题

• RQ1 经过修改的联邦优化框架是否能在数据分布不一致（统计异构性）的情况下实现收敛？
• RQ2 当设备具有不同的计算能力（系统异构性）并执行不同数量的本地更新时，该框架表现如何？
• RQ3 与 FedAvg 相比，该方法在真实联邦学习场景中是否提升了收敛稳定性和测试准确率？
• RQ4 在同时存在统计异构性和系统异构性的情况下，该框架的理论收敛行为如何？
• RQ5 即使数据高度非独立同分布且设备计算能力多样化，该框架是否仍能保持高模型准确率？

主要发现

• FedProx 在统计异构性和系统异构性并存的条件下，为联邦优化提供了理论收敛保证。
• 在高度异构的设置下，该框架表现出比 FedAvg 更加稳定和准确的收敛性能。
• 在一系列真实联邦数据集上，FedProx 的平均绝对测试准确率相比 FedAvg 提高了 22%。
• 近端正则化项有效缓解了由数据和系统异构性引起的发散问题。
• 该方法在不同数据分布和设备计算水平下均保持了稳健的性能。
• 实验结果证实，FedProx 在非独立同分布和系统异构环境中，无论在收敛速度还是最终模型准确率方面，均优于 FedAvg。