[论文解读] The Impact of Communication Delays on Distributed Consensus Algorithms

Konstantinos I. Tsianos, Michael Rabbat|arXiv (Cornell University)|Jul 24, 2012

Distributed Control Multi-Agent Systems参考文献 29被引用 13

一句话总结

本文分析了通信延迟对分布式一致性算法的影响，提出了一种针对固定延迟和时变延迟的改进模型，在保持收敛性的同时量化了收敛速率的退化。证明了在固定延迟下收敛速率最多退化$O(B^2)$，并提出Push-Sum作为一种鲁棒的替代方案，即使在延迟存在的情况下也能实现平均一致性，且在实际环境中优于标准协议。

ABSTRACT

We study the effect of communication delays on distributed consensus algorithms. Two ways to model delays on a network are presented. The first model assumes that each link delivers messages with a fixed (constant) amount of delay, and the second model is more realistic, allowing for i.i.d. time-varying bounded delays. In contrast to previous work studying the effects of delays on consensus algorithms, the models studied here allow for a node to receive multiple messages from the same neighbor in one iteration. The analysis of the fixed delay model shows that convergence to a consensus is guaranteed and the rate of convergence is reduced by no more than a factor O(B^2) where B is the maximum delay on any link. For the time-varying delay model we also give a convergence proof which, for row-stochastic consensus protocols, is not a trivial consequence of ergodic matrix products. In both delay models, the consensus value is no longer the average, even if the original protocol was an averaging protocol. For this reason, we propose the use of a different consensus algorithm called Push-Sum [Kempe et al. 2003]. We model delays in the Push-Sum framework and show that convergence to the average consensus is guaranteed. This suggests that Push-Sum might be a better choice from a practical standpoint.

研究动机与目标

• 为大规模系统中的分布式一致性算法建模并分析通信延迟的影响。
• 填补对固定延迟和时变延迟如何影响收敛速率与一致性值的理解空白。
• 证明在随机、独立同分布的有界延迟下，行随机一致性协议的收敛性——这是对先前工作的非平凡扩展。
• 提出并分析Push-Sum算法作为更优替代方案，其在延迟存在时仍能保持平均一致性。
• 提供一个形式化延迟建模框架，支持每轮中来自同一邻居的多条消息，提升现实性。

提出的方法

• 采用两种延迟建模框架：每条链路的固定延迟和独立同分布的时变有界延迟，支持每轮中多条消息传递。
• 使用几何论证方法，对固定延迟下的收敛速率退化进行上界估计，表明其退化程度最多为$O(B^2)$，其中$B$为最大延迟。
• 将先前工作的随机延迟模型推广至任意行随机一致性协议$P$，而不仅限于双随机协议。
• 引入延迟扩展图模型，将每个节点按延迟状态进行复制，以分析路径对Poincaré常数的贡献。
• 推导出延迟系统中Poincaré常数$\widehat{K}$的上界，表明$\widehat{K} \leq ZK$，其中$Z$依赖于$B$、节点度数和协议$P$。
• 将Push-Sum算法适配至延迟模型，证明其在延迟存在时仍能实现精确的平均一致性，而标准平均协议则不能。

实验结果

研究问题

• RQ1 每条链路的固定通信延迟最多为$B$轮时，对分布式一致性算法的收敛速率有何影响？
• RQ2 在独立同分布的时变有界延迟下，是否可保证行随机一致性协议的收敛性，即使更新矩阵可能出现全零行？
• RQ3 为何标准平均一致性协议在延迟存在时无法收敛到真实平均值？这一问题能否被修正？
• RQ4 Push-Sum算法在固定延迟和时变延迟下是否仍能保持对平均一致性的收敛？
• RQ5 延迟对收敛速率的定量影响是什么？能否以$B$和网络拓扑为参数对退化程度进行有界描述？

主要发现

• 在固定延迟下，收敛速率退化程度最多为$O(B^2)$，仍保持指数收敛。
• 对于时变延迟，证明了任意行随机协议的收敛性，解决了以往的遍历矩阵积理论未覆盖的非平凡情形。
• 即使原始协议为双随机，标准平均一致性协议在延迟存在时也无法收敛到真实平均值。
• Push-Sum算法在固定延迟和随机延迟模型下均被证明能收敛到真实平均一致性，因此更适合实际部署。
• 延迟系统的Poincaré常数满足$\widehat{K} \leq ZK$，其中$Z$是$B$、最大节点度数$d_{\text{max}}$以及协议$P$谱性质的函数，且$Z$的增长量级为$O(B^3)$。
• 分析表明，在Push-Sum框架中，延迟模型可被简化，同时仍能保证收敛到平均值，从而增强了实用性。