[论文解读] On Randomized Distributed Coordinate Descent with Quantized Updates

Mostafa El Gamal, Lifeng Lai|arXiv (Cornell University)|Sep 18, 2016

Stochastic Gradient Optimization Techniques参考文献 9被引用 3

一句话总结

本文提出了一种在有限精度通信条件下用于凸优化的随机分布式坐标下降算法的量化变体。它建立了量化误差幅度的充分条件，以保证收敛到最优解，表明只要量化误差相对于问题参数和期望精度有界，收敛性即可保持。

ABSTRACT

In this paper, we study the randomized distributed coordinate descent algorithm with quantized updates. In the literature, the iteration complexity of the randomized distributed coordinate descent algorithm has been characterized under the assumption that machines can exchange updates with an infinite precision. We consider a practical scenario in which the messages exchange occurs over channels with finite capacity, and hence the updates have to be quantized. We derive sufficient conditions on the quantization error such that the algorithm with quantized update still converge. We further verify our theoretical results by running an experiment, where we apply the algorithm with quantized updates to solve a linear regression problem.

研究动机与目标

• 为解决在有限容量通信信道下分布式优化算法收敛性分析的空白。
• 研究当由于信道容量受限导致梯度更新被量化时，随机坐标下降是否仍保持收敛。
• 推导出保证收敛到最优解的量化误差的显式充分条件。
• 通过在具有受控量化级别的线性回归问题上的实验评估，验证理论发现。

提出的方法

• 将随机坐标下降算法适配到具有有限容量信道上的量化消息交换的分布式设置。
• 将量化误差建模为更新方向上的有界扰动，量化分辨率Δ。
• 利用强凸性和Lipschitz光滑性参数（m 和 L）以及条件数 g = L/m 推导收敛速率边界。
• 在收敛性分析中引入一个修正的迭代次数 k^q，以考虑量化引起的误差累积。
• 使用最优步长 t_opt = 1/(gLd) 以最小化收敛速率常数 C_min = 1 - 1/(g²d)。
• 推导出收敛到 ε 精度的充分条件 Δ ≤ (ερL²)/(2m) * (1/C_min - 1)，置信度为 ρ。

实验结果

研究问题

• RQ1 当由于有限容量通信信道导致更新被量化时，随机分布式坐标下降在何种条件下收敛？
• RQ2 量化误差如何影响分布式坐标下降算法的收敛速率？
• RQ3 在有界量化误差下，算法的收敛性是否可以保持，如果是，最大允许误差是多少？
• RQ4 量化分辨率、问题参数（L, m, d）与达到收敛所需的迭代次数之间有何关系？
• RQ5 量化误差是否会传播并导致算法不稳定，还是可以被控制以确保收敛？

主要发现

• 当量化误差 Δ 上限为 (ερL²)/(2m) * (1/C_min - 1) 时，算法收敛到最优解，其中 ε 为期望精度，ρ 为置信水平。
• 收敛所需的迭代次数受边界限制：k^q = log(2||x₀ - x*||²/ερ)/log(1/C_min) + log(2||x₀ - x*||²)/log(1/(C_min + (ερ/2)(1 - C_min)))，该边界考虑了量化引起的误差。
• 当 Δ = 0（即无量化）时，迭代次数简化为 k = log(||x₀ - x*||²/ερ)/log(1/C_min)，与无量化情况下的已知结果一致。
• 在发电厂数据集上的实验结果表明，当 Δ = 10³ 时算法收敛，但当 Δ = 10⁵ 时发散，验证了理论允许误差的边界。
• 只要误差足够小，收敛对量化具有鲁棒性，且量化误差不会传播导致算法不稳定。
• 推导出的收敛条件确保了在量化条件下，只要误差在推导出的阈值内，算法仍能保持线性收敛速率。