[论文解读] On Communication Cost of Distributed Statistical Estimation and Dimensionality

Ankit Garg, Tengyu Ma+1 more|arXiv (Cornell University)|May 7, 2014

Distributed Sensor Networks and Detection Algorithms参考文献 14被引用 50

一句话总结

本文建立了高维球状正态分布均值分布式估计的通信成本下限。证明了在一般情况下，通信成本随维度线性增长；并提出一种稀疏结构化协议，在真实均值为 $s$-稀疏时，将通信成本降低 $d/s$ 倍，实现了通信成本与估计误差之间的近似最优权衡。

ABSTRACT

We explore the connection between dimensionality and communication cost in distributed learning problems. Specifically we study the problem of estimating the mean $\vecθ$ of an unknown $d$ dimensional gaussian distribution in the distributed setting. In this problem, the samples from the unknown distribution are distributed among $m$ different machines. The goal is to estimate the mean $\vecθ$ at the optimal minimax rate while communicating as few bits as possible. We show that in this setting, the communication cost scales linearly in the number of dimensions i.e. one needs to deal with different dimensions individually. Applying this result to previous lower bounds for one dimension in the interactive setting \cite{ZDJW13} and to our improved bounds for the simultaneous setting, we prove new lower bounds of $Ω(md/\log(m))$ and $Ω(md)$ for the bits of communication needed to achieve the minimax squared loss, in the interactive and simultaneous settings respectively. To complement, we also demonstrate an interactive protocol achieving the minimax squared loss with $O(md)$ bits of communication, which improves upon the simple simultaneous protocol by a logarithmic factor. Given the strong lower bounds in the general setting, we initiate the study of the distributed parameter estimation problems with structured parameters. Specifically, when the parameter is promised to be $s$-sparse, we show a simple thresholding based protocol that achieves the same squared loss while saving a $d/s$ factor of communication. We conjecture that the tradeoff between communication and squared loss demonstrated by this protocol is essentially optimal up to logarithmic factor.

研究动机与目标

• 理解在分布式统计估计中，通信成本如何随维度增长。
• 在高维设定下，建立达到极小化最大误差所需的通信成本的紧下界。
• 为在稀疏性约束下的分布式均值估计设计通信高效协议。
• 形式化一个直接求和定理，将多维估计与独立的一维问题联系起来。
• 推测所提出的稀疏协议在对数因子范围内达到通信成本与估计误差之间的最优权衡。

提出的方法

• 应用信息复杂度中的直接求和定理，证明 $d$-维估计所需的通信成本至少为一维估计的 $d$ 倍。
• 利用信息复杂度和强数据处理不等式，在同时通信模型中推导出改进的下界。
• 提出一种迭代自适应协议，通过每轮使用 $O(\text{log}\thinspace m)$ 位消息缩小均值的置信区间，失败概率动态调整。
• 在均值上使用高斯先验以避免下界分析中的对数损失，通过联合高斯变量的数据处理不等式实现更紧的分析。
• 设计一种基于阈值的协议，用于 $s$-稀疏参数，仅需 $O(md/s)$ 位通信，同时保持极小化平方损失。
• 利用稀疏参数的结构，与一般情况相比，将通信成本降低 $d/s$ 倍。

实验结果

研究问题

• RQ1 在高维正态分布均值的分布式估计中，通信成本如何随维度 $d$ 变化？
• RQ2 当真实参数已知为稀疏时，是否可以降低通信成本？
• RQ3 在分布式均值估计中，通信成本与估计误差之间的最优权衡是什么？
• RQ4 在同时模型中，一般情况下的通信成本是否紧致地有下界 $\Omega(md)$，在交互模型中是否为 $\Omega(md/\log m)$？
• RQ5 在稀疏性约束下，简单的阈值协议能否实现近似最优的通信-精度权衡？

主要发现

• 高维球状正态分布均值的分布式估计通信成本随 $d$ 线性增长，意味着每个维度必须独立估计。
• 在同时通信模型中，建立了新的 $\Omega(md)$ 位下界，优于先前的 $\Omega(md/\log m)$ 下界。
• 设计了一种交互协议，以 $O(md)$ 位通信实现极小化平方损失，相比朴素的同时协议，通信量减少 $\log m$ 倍。
• 对于 $s$-稀疏参数，基于阈值的协议仅需 $O(md/s)$ 位通信即可达到相同的平方损失，节省了 $d/s$ 倍通信成本。
• 所提出的稀疏协议被推测在对数因子范围内达到最优，其权衡满足 $C \cdot R \gtrsim \frac{sd\sigma^2}{mn}$。
• 直接求和定理表明，任何协议都无法优于求解 $d$ 个独立的一维问题，从而确立了通信效率的根本极限。