[论文解读] Randomized Distributed Mean Estimation: Accuracy vs Communication

Jakub Konečný, Peter Richtárik|arXiv (Cornell University)|Nov 22, 2016

Stochastic Gradient Optimization Techniques被引用 3

一句话总结

该论文提出了一类灵活的随机化分布式均值估计算法，无需统计假设即可在通信成本与估计误差之间取得平衡。通过使用具有节点特定中心的参数化概率编码，当每个坐标仅传输1比特时，实现了O(r/n)的均方误差，优于先前工作，消除了对维度的对数依赖性，并降低了计算开销。

ABSTRACT

We consider the problem of estimating the arithmetic average of a finite collection of real vectors stored in a distributed fashion across several compute nodes subject to a communication budget constraint. Our analysis does not rely on any statistical assumptions about the source of the vectors. This problem arises as a subproblem in many applications, including reduce-all operations within algorithms for distributed and federated optimization and learning. We propose a flexible family of randomized algorithms exploring the trade-off between expected communication cost and estimation error. Our family contains the full-communication and zero-error method on one extreme, and an $\epsilon$-bit communication and ${\cal O}\left(1/(\epsilon n) ight)$ error method on the opposite extreme. In the special case where we communicate, in expectation, a single bit per coordinate of each vector, we improve upon existing results by obtaining $\mathcal{O}(r/n)$ error, where $r$ is the number of bits used to represent a floating point value.

研究动机与目标

• 解决在无统计假设条件下分布式均值估计中通信成本与估计误差之间的权衡问题。
• 设计一类灵活的随机化算法族，介于全通信零误差与低通信高误差的极端情况之间。
• 改进现有方法（如Suresh等[10]），消除对维度的对数依赖性并降低计算成本。
• 探索通过随机旋转和k元编码进行预处理对进一步降低误差的影响。

提出的方法

• 提出一种基于概率 pij 和节点中心 µi 的参数化随机编码协议族，用于在传输前压缩向量。
• 采用无偏编码方案，对每个坐标进行概率编码，以保持期望值不变，同时减少通信量。
• 在服务器端使用简单的平均解码器来估计真实均值，确保估计结果无偏。
• 通过从编码分量方差推导出的闭式表达式，分析均方误差（MSE）。
• 引入二进制编码的k元推广，以探索更高阶量化，可能实现更低的MSE。
• 探索通过随机旋转进行预处理，以改善编码的数据结构，从而降低期望MSE。

实验结果

研究问题

• RQ1 是否存在一种随机化分布式均值估计方法，可在保持低通信成本的同时，实现低于现有方法的均方误差？
• RQ2 消除对维度的对数依赖性是否能在高维设置下提升性能？
• RQ3 在所提框架中，通过随机旋转进行预处理是否能降低期望MSE？
• RQ4 对编码概率和节点中心进行优化如何影响通信-误差权衡？
• RQ5 与二进制编码相比，使用k元编码在分布式均值估计中是否具有优势？

主要发现

• 当每个坐标仅传输1比特时，所提方法实现了O(r/n)的均方误差，其中r为浮点数的位数。
• 该界与维度d无关，优于Suresh等[10]中O(d log d / n)的依赖关系。
• 该方法在d上为线性，而Suresh等的方法因旋转预处理需要O(d log d)时间。
• 对概率和节点中心进行优化可进一步降低MSE，尽管仅在低通信场景下存在闭式解。
• 随机旋转预处理可显著降低MSE，且与最优编码结合可能带来进一步改进。
• k元编码推广为实现更低MSE提供了潜在路径，但代价是通信量增加。