[论文解读] Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization

Jianyu Wang, Qinghua Liu+3 more|arXiv (Cornell University)|Jul 15, 2020

Privacy-Preserving Technologies in Data参考文献 51被引用 572

一句话总结

本论文分析联邦优化中由于异质本地更新引发的目标不一致，提出一个通用框架，并提出 FedNova 以归一化更新实现一致收敛。

ABSTRACT

In federated optimization, heterogeneity in the clients' local datasets and computation speeds results in large variations in the number of local updates performed by each client in each communication round. Naive weighted aggregation of such models causes objective inconsistency, that is, the global model converges to a stationary point of a mismatched objective function which can be arbitrarily different from the true objective. This paper provides a general framework to analyze the convergence of federated heterogeneous optimization algorithms. It subsumes previously proposed methods such as FedAvg and FedProx and provides the first principled understanding of the solution bias and the convergence slowdown due to objective inconsistency. Using insights from this analysis, we propose FedNova, a normalized averaging method that eliminates objective inconsistency while preserving fast error convergence.

研究动机与目标

• 动机并形式化由联邦学习中本地更新不均导致的目标不一致问题。
• 提出一个一般的收敛框架，在异质本地进展下包容 FedAvg 和 FedProx。
• 表征由不一致性引起的偏差和减速，并建立理论保证。
• 提出一种基于归一化的聚合方法（FedNova），在保持快速收敛的同时实现目标一致性。

提出的方法

• 模型更新可写成一个广义更新规则，用归一化梯度 di(t) 优化代理目标 ￙ = sum wi Fi。
• 将 d_i(t) 定义为使用本地梯度累积 a_i 和 l1 范数的归一化梯度；并展示 a_i 如何编码本地求解器与调度。
• 引入权重 w_i 和一个有效步数 tau_eff，以捕捉跨异质客户端的聚合与进展。
• 证明收敛到代理目标的一个驻点，并给出关于代理目标与真实目标的梯度范数的界限。
• 展示 FedNova 如何使 wi = pi（数据份额）以消除目标不一致并推导出线性加速和收敛保证。
• 证明与各种本地求解器的兼容性，以及与加速/方差规约技术的潜在结合。

实验结果

研究问题

• RQ1 在联邦优化中，跨客户端本地更新数量的异质性如何影响收敛？
• RQ2 我们是否可以量化并缓解在像 FedAvg 与 FedProx 这样的标准聚合方法中由目标不一致性引入的偏差？
• RQ3 基于归一化的聚合（FedNova）是否在不牺牲收敛速度的前提下恢复一致性？
• RQ4 理论保证如何扩展到非独立同分布数据、不同的客户端参与度以及不同的本地求解器？
• RQ5 在调整近端项或其他超参数时，目标一致性与收敛减速之间存在哪些权衡？

主要发现

• FedAvg 收敛到代理目标的一个驻点，这一点可能因本地更新次数而与真实全局目标有任意差异。
• 目标不一致引入一个非消失的误差下界，除非聚合权重反映真实数据份额（pi）。
• FedProx 可以减少但不能消除不一致性，且随着近端强度增大可能减慢收敛。
• 一个广义更新规则捕捉了许多联邦算法，并量化由于异质本地更新引起的偏差和减速。
• FedNova 通过归一化和平均本地梯度来消除目标不一致性，达到一致性并保持快速误差收敛。
• FedNova 兼容任意本地求解器，并且可以与方差减少和服务端加速结合。