[论文解读] On Distributed Averaging Algorithms and Quantization Effects

Angelia Nedić, Alex Olshevsky+2 more|ArXiv.org|Nov 27, 2007

Distributed Control Multi-Agent Systems参考文献 15被引用 28

一句话总结

本文研究了在时变网络上进行分布式平均算法，提出了一类在无量化通信下具有紧致多项式收敛时间界的新算法。在量化条件下，引入了一种向下取整方案，确保一致性误差被限制在 $ O(1/Q) $ 以内，收敛时间按 $ O((n^2/ heta) heta(nQ)) $ 缩放，并表明当 $ n \to \infty $ 时，为实现亚常数误差，$ \Omega(\log n) $ 位是必需的。

ABSTRACT

We consider distributed iterative algorithms for the averaging problem over time-varying topologies. Our focus is on the convergence time of such algorithms when complete (unquantized) information is available, and on the degradation of performance when only quantized information is available. We study a large and natural class of averaging algorithms, which includes the vast majority of algorithms proposed to date, and provide tight polynomial bounds on their convergence time. We also describe an algorithm within this class whose convergence time is the best among currently available averaging algorithms for time-varying topologies. We then propose and analyze distributed averaging algorithms under the additional constraint that agents can only store and communicate quantized information, so that they can only converge to the average of the initial values of the agents within some error. We establish bounds on the error and tight bounds on the convergence time, as a function of the number of quantization levels.

研究动机与目标

• 解决在时变拓扑下分布式平均算法缺乏紧致收敛时间界的问题。
• 分析在分布式平均中，由于通信量化导致的性能退化，即各 agent 仅能存储和传输离散值。
• 建立由量化引起的共识误差的界，并刻画量化级别与收敛速度之间的权衡。
• 提供一种量化算法，保证收敛到与真实平均值在可控误差范围内的共同值。
• 确定在网络规模增大时，为实现可忽略的共识误差，所需的最小量化级别数（以位数表示）。

提出的方法

• 本文分析了一类由可能非对称且双随机的权重矩阵定义的通用分布式平均算法，使用李雅普诺夫函数来界定收敛时间。
• 提出一种利用三跳邻域信息的动态权重选择规则，在无向连通性假设下，将收敛时间改进至 $ O(n^2) $。
• 对于量化通信，算法采用向下取整的量化器，将连续值映射到最近的量化级别，从而在损失精确平均保持的前提下，确保收敛到共同值。
• 使用修改后的李雅普诺夫函数分析量化条件下的收敛性，追踪各 agent 值的演化，并界定达到一致性的迭代次数。
• 分析中考虑了每次迭代李雅普诺夫函数的最坏情况减少量，结合量化误差和量化级别数 $ Q $ 的影响。
• 推导出共识误差的上下界，表明误差随 $ O(1/Q) $ 衰减，且界依赖于 $ n $、$ \theta $ 和初始值的动态范围。

实验结果

研究问题

• RQ1 对于一类在时变拓扑下具有无量化通信的通用分布式平均算法，最紧致的收敛时间界是什么？
• RQ2 量化如何影响分布式平均算法的收敛时间和共识误差？
• RQ3 为实现随网络规模 $ n $ 增大而减小的共识误差，所需的最小量化级别数（或位数）是多少？
• RQ4 能否设计一种分布式算法，在时变拓扑下实现比现有方案更快的收敛速度？
• RQ5 量化级别数与最终共识值精度之间的根本权衡是什么？

主要发现

• 无量化分布式平均算法的收敛时间被界定为 $ O(n^2 / \theta) $，该界是紧致的，当 $ \theta = \Theta(1/n) $ 时，优于先前的 $ O(n^3) $ 界。
• 对于使用三跳信息的动态权重选择算法，收敛时间为 $ O(n^2) $，与静态拓扑下已知的最佳界一致。
• 在 $ Q $ 个量化级别下，算法在 $ O((n^2 / \theta) \log(nQ)) $ 次迭代内收敛到共同值，误差被限制在 $ O(1/Q) $ 以内。
• 共识误差最多为 $ c \cdot (n^2 / \theta) \cdot B \cdot \log(Qn(U-L)) / Q $，表明随着 $ Q $ 增大，误差按 $ 1/Q $ 衰减。
• 即使 $ B $、$ 1/\theta $、$ U-L $ 均以多项式方式增长，为使共识误差在 $ n \to \infty $ 时可忽略，每个 agent 所需的位数也存在 $ \Omega(\log n) $ 的下界。
• 一个示例显示：当 $ n/2 $ 个节点值为 0，$ n/2 $ 个节点值为 1 时，若 $ Q < n/2 $，最终共识值可能与真实平均值相差 $ 1/2 $，证明 $ \Omega(\log n) $ 位是实现亚常数误差所必需的。