[论文解读] One-Shot Federated Learning: Theoretical Limits and Algorithms to Achieve Them

Saber Salehkaleybar, Arsalan Sharifnassab+1 more|arXiv (Cornell University)|May 12, 2019

Privacy-Preserving Technologies in Data参考文献 21被引用 6

一句话总结

本文提出了多分辨率估计器（MRE）用于单次联邦学习，在严格的通信约束下实现阶最优估计。它建立了估计误差的紧下界，并证明当 $ B \geq \log mn $ 时，MRE 可在多对数因子范围内达到该下界，且当 $ m \to \infty $ 时误差趋于零，即使 $ n $ 为常数，使其特别适用于大规模、数据稀缺的场景。

ABSTRACT

We consider distributed statistical optimization in one-shot setting, where there are $m$ machines each observing $n$ i.i.d. samples. Based on its observed samples, each machine sends a $B$-bit-long message to a server. The server then collects messages from all machines, and estimates a parameter that minimizes an expected convex loss function. We investigate the impact of communication constraint, $B$, on the expected error and derive a tight lower bound on the error achievable by any algorithm. We then propose an estimator, which we call Multi-Resolution Estimator (MRE), whose expected error (when $B\ge\log mn$) meets the aforementioned lower bound up to poly-logarithmic factors, and is thereby order optimal. We also address the problem of learning under tiny communication budget, and present lower and upper error bounds when $B$ is a constant. The expected error of MRE, unlike existing algorithms, tends to zero as the number of machines ($m$) goes to infinity, even when the number of samples per machine ($n$) remains upper bounded by a constant. This property of the MRE algorithm makes it applicable in new machine learning paradigms where $m$ is much larger than $n$.

研究动机与目标

• 在通信约束下，建立单次联邦学习中估计误差的根本理论极限。
• 设计一种算法，使其在多对数因子范围内达到这些理论极限。
• 分析当机器数量 $ m $ 较大而每台机器的样本数 $ n $ 较小时联邦学习的性能。
• 为中等和极低通信预算（$ B $ 为常数）推导估计误差的紧下界和上界。

提出的方法

• 提出多分辨率估计器（MRE），通过分层量化方案编码本地经验最小化器，以在比特数受限下保持统计精度。
• 基于对函数索引上概率分布的扰动，使用极小化最大方法推导估计误差的紧下界。
• 采用随机信号传输方案，每台机器通过伯努利抽样其分量，发送表示经验最小化器的 $ d $ 位二进制字符串。
• 利用集中不等式和一阶导数的光滑性假设，将估计误差以 $ m $、$ n $ 和 $ B $ 的形式进行有界。
• 通过将问题约化为概率向量上的离散优化问题，利用反证法和敏感性分析证明下界。
• 分析服务器最终估计的偏差和方差，以建立随机信号传输方法的 $ O(d/m + d/n) $ 误差界。

实验结果

研究问题

• RQ1 在给定通信预算 $ B $ 的条件下，单次联邦学习中估计误差的根本极限是什么？
• RQ2 当 $ B \geq \log mn $ 时，是否存在一种算法可达到该下界，仅相差多对数因子？
• RQ3 当 $ m \to \infty $ 且 $ n $ 有界时，估计误差的行为如何，特别是在 $ B $ 为常数时？
• RQ4 是否存在一种通信高效的估计器，即使每台机器仅有少量样本，也能保持低误差？
• RQ5 在通信受限条件下，MRE 的性能与现有方法相比，在偏差、方差和收敛性方面如何？

主要发现

• 本文建立了估计误差的紧下界：$ \tilde{\Theta}\left(\max\left(n^{-1/2}(mB)^{-1/d}, (mn)^{-1/2}\right)\right) $，适用于 $ B \geq d\log mn $。
• MRE 估计器在多对数因子范围内达到该下界，因此在中等通信预算下具有阶最优性。
• 当 $ B $ 为常数时，本文推导出误差的匹配上下界，表明若 $ m $ 和 $ n $ 同时增长，误差可被任意缩小。
• 与先前方法不同，MRE 的误差在 $ m \to \infty $ 时即使 $ n $ 有界也趋于零，从而在大规模、低数据场景中具备可扩展性。
• 随机信号传输方法实现 $ O(d/m + d/n) $ 的误差，该误差在给定假设和量化模型下为最优。
• 理论分析证实，MRE 算法对非光滑损失曲面具有鲁棒性，因其仅假设一阶导数的利普希茨连续性。