[论文解读] New Bounds For Distributed Mean Estimation and Variance Reduction

Peter Maxwell Davies, Vijaykrishna Gurunanthan+3 more|Durham Research Online (Durham University)|Feb 21, 2020

Privacy-Preserving Technologies in Data参考文献 36被引用 4

一句话总结

该论文提出了一种基于格的量化方法，用于分布式均值估计与方差缩减，实现了与输入向量范数无关的最优通信-误差权衡。通过利用格理论与误差检测，该方法确保方差缩减仅依赖于输入的离散度而非范数，理论边界紧密，并在深度学习与幂迭代工作负载中相较于先前方法具有实际性能提升。

ABSTRACT

We consider the problem of distributed mean estimation (DME), in which $n$ machines are each given a local $d$-dimensional vector $x_v \in \mathbb{R}^d$, and must cooperate to estimate the mean of their inputs $μ= \frac 1n\sum_{v = 1}^n x_v$, while minimizing total communication cost. DME is a fundamental construct in distributed machine learning, and there has been considerable work on variants of this problem, especially in the context of distributed variance reduction for stochastic gradients in parallel SGD. Previous work typically assumes an upper bound on the norm of the input vectors, and achieves an error bound in terms of this norm. However, in many real applications, the input vectors are concentrated around the correct output $μ$, but $μ$ itself has large norm. In such cases, previous output error bounds perform poorly. In this paper, we show that output error bounds need not depend on input norm. We provide a method of quantization which allows distributed mean estimation to be performed with solution quality dependent only on the distance between inputs, not on input norm, and show an analogous result for distributed variance reduction. The technique is based on a new connection with lattice theory. We also provide lower bounds showing that the communication to error trade-off of our algorithms is asymptotically optimal. As the lattices achieving optimal bounds under $\ell_2$-norm can be computationally impractical, we also present an extension which leverages easy-to-use cubic lattices, and is loose only up to a logarithmic factor in $d$. We show experimentally that our method yields practical improvements for common applications, relative to prior approaches.

研究动机与目标

• 解决先前分布式均值估计与方差缩减方法依赖于输入范数的局限性，尤其在输入远离原点时性能下降的问题。
• 设计一种通信高效的分布式均值估计方法，其误差界仅依赖于输入方差（输入间的距离），而非输入范数。
• 建立实现分布式均值估计与方差缩减中所需误差缩减的通信复杂度的紧致理论下界。
• 设计一种基于立方格的实用实例，实现接近最优的性能，且维度上的损失仅为对数级。
• 在分布式SGD、神经网络训练与幂迭代等实际应用中，证明该方法的优越性。

提出的方法

• 提出一种基于格的量化框架，根据输入向量的相对位置将其映射到格点，以最小化相对于输入离散度而非范数的量化误差。
• 利用格着色与结构化编码，使机器能够以最少的比特数通信量化值，同时保持均值估计的准确性。
• 设计一种解码过程，利用格几何与误差校正从量化消息中重构均值估计。
• 在量化方案中引入误差检测，以支持自适应通信，并提升方差缩减任务中的期望性能。
• 利用立方格实现实际部署，表明该方案在维度d上仅损失对数因子，接近最优。
• 通过基于成对距离对梯度更新或中间向量进行量化，将该方法应用于分布式SGD与幂迭代。

实验结果

研究问题

• RQ1 是否可以实现与输入向量范数无关的误差界，尤其在输入远离原点时？
• RQ2 在分布式均值估计中，实现给定方差缩减因子的最优通信复杂度是多少？
• RQ3 如何将基于格的量化方法适配至使用计算高效的立方格，同时保持近似最优性？
• RQ4 量化中的误差检测是否能提升方差缩减任务中的期望通信效率？
• RQ5 在实际机器学习工作负载中，该方法与先前最先进压缩方案相比表现如何？

主要发现

• 论文证明，Θ(d log q)比特足以实现分布式均值估计中输入方差的q倍缩减，且与输入范数无关。
• 对于n个节点的方差缩减，需要Θ(d log n)比特以实现最优Θ(n)倍方差缩减，且存在匹配的下界。
• 所提出的基于格的方法即使使用立方格，也能实现接近最优的通信-误差权衡，维度d上的损失仅为对数因子。
• 实验表明，LQSGD在CIFAR-100上的神经网络训练中优于QSGD与EF-SignSGD，在4比特量化下达到具有竞争力的准确率。
• 在幂迭代中，LQSGD与RLQSGD相比基于范数的基线方法，显著提升了特征向量估计的准确性，尤其在输入范数较大时。
• 该方法在分布式SGD与最小二乘回归中实现了实用的方差缩减，在合成与真实世界设置中均一致优于先前方法。