[论文解读] Order Optimal One-Shot Distributed Learning

Arsalan Sharifnassab, Saber Salehkaleybar+1 more|arXiv (Cornell University)|Nov 2, 2019

Machine Learning and Algorithms被引用 4

一句话总结

本文提出多分辨率估计器（MRE），一种通信高效的单次通信分布式学习算法，仅使用每台机器 $O(\log(mn))$ 位的消息，即可实现 $\tilde{O}\big{(}m^{-1/\max(d,2)}n^{-1/2}\big{)}$ 的阶最优估计误差。与先前方法不同，MRE 的误差在 $m \to \infty$ 时趋于零，即使 $n$ 保持有界，因此适用于联邦学习等大规模、数据稀缺的场景。

ABSTRACT

We consider distributed statistical optimization in one-shot setting, where there are $m$ machines each observing $n$ i.i.d. samples. Based on its observed samples, each machine then sends an $O(\log(mn))$-length message to a server, at which a parameter minimizing an expected loss is to be estimated. We propose an algorithm called Multi-Resolution Estimator (MRE) whose expected error is no larger than $ ilde{O}\big(m^{-{1}/{\max(d,2)}} n^{-1/2}\big)$, where $d$ is the dimension of the parameter space. This error bound meets existing lower bounds up to poly-logarithmic factors, and is thereby order optimal. The expected error of MRE, unlike existing algorithms, tends to zero as the number of machines ($m$) goes to infinity, even when the number of samples per machine ($n$) remains upper bounded by a constant. This property of the MRE algorithm makes it applicable in new machine learning paradigms where $m$ is much larger than $n$.

研究动机与目标

• 设计一种通信高效的单次通信分布式学习算法，使得随着机器数量 $m$ 增加，估计误差保持较低。
• 在严格通信约束下，实现分布式统计优化中的阶最优误差性能。
• 通过确保误差随 $m$ 增加而减小，使方法适用于 $m \gg n$ 的情形（如联邦学习），从而实现在大规模机器、低数据场景下的有效学习。
• 开发一种方法，其性能与已知下界仅相差多对数因子，从而证明理论最优性。

提出的方法

• 提出多分辨率估计器（MRE），采用分层编码机制，在多个分辨率层级上聚合本地估计值。
• 采用量化策略，利用与分辨率相关的编码方式，将每台机器的本地经验最小化器压缩至 $O(\log(mn))$ 位。
• 在服务器端通过加权平均结合多个分辨率层级的估计值，以降低方差和偏差。
• 利用损失函数的光滑性和凸性结构，确保收敛性和误差控制。
• 采用类似泰勒级数的近似框架，基于本地梯度和海塞信息建模全局损失函数。
• 通过分析各分辨率层级上的偏差-方差权衡，推导估计误差的理论界。

实验结果

研究问题

• RQ1 是否可能设计一种单次通信分布式学习算法，使得估计误差随机器数量 $m$ 增加而减小，即使每台机器的样本数 $n$ 固定？
• RQ2 能否设计一种通信效率高的算法，使用 $O(\log(mn))$-位消息，其性能与集中式误差率仅相差对数因子？
• RQ3 在单次通信分布式优化中，通信成本与估计精度之间的根本权衡是什么？
• RQ4 所提方法的性能如何随维度 $d$、$m$ 和 $n$ 变化？

主要发现

• MRE 算法实现了 $\tilde{O}\big{(}m^{-1/\max(d,2)}n^{-1/2}\big{)}$ 的期望误差，与现有下界仅相差多对数因子，证明了阶最优性。
• 与先前方法不同，MRE 的误差在 $m \to \infty$ 时趋于零，即使 $n$ 有界，从而在大规模机器、低数据场景下具备可扩展性。
• 对于每条消息仅使用 1 位的变体，期望误差被限制在 $\tilde{O}\big{(}m^{-1/2} + n^{-1/2}\big{)}$，即使在极端通信约束下依然有效。
• 在高 $m$ 场景下，该方法优于经典平均法和自助法，后两者的误差在 $m$ 增加时仍与零保持有界距离。
• 理论分析证实，MRE 的误差界是紧致的，若不减少通信成本或放松光滑性假设，则无法进一步改进。