[论文解读] Rate of Convergence for Distributed Optimization with Uncertain Communications

Pouya Rezaeinia, Bahman Gharesifard|arXiv (Cornell University)|Mar 23, 2020

Distributed Control Multi-Agent Systems参考文献 17被引用 6

一句话总结

本文提出了一种改进的推送求和算法（modified push-sum algorithm），用于在随机有向通信图上进行分布式优化，首次在这样的随机设置中建立了 O(1/√t) 的收敛速率上界。该文分析了在不确定、时变网络拓扑下的收敛速率，通过矩阵积的概率界和扰动控制，证明了几乎必然收敛，并给出了明确的误差衰减速率。

ABSTRACT

We consider the distributed optimization problem for the sum of convex functions where the underlying communications network connecting agents at each time is drawn at random from a collection of directed graphs. Building on an earlier work [15], where a modified version of the subgradient-push algorithm is shown to be almost surely convergent to an optimizer on sequences of random directed graphs, we find an upper bound of the order of $\sim O(\frac{1}{\sqrt{t}})$ on the convergence rate of our proposed algorithm, establishing the first convergence bound in such random settings.

研究动机与目标

• 通过建立在随机通信图下分布式优化的收敛速率上界，弥补先前研究中的空白。
• 分析在通信拓扑时变且随机选择的随机网络环境中，改进推送求和算法的收敛速率。
• 在有界扰动条件下，推导出收敛误差的显式上界，其衰减速率为 O(1/√t)。
• 为通信链路不确定且动态变化时的分布式次梯度方法提供收敛速度的理论保证。

提出的方法

• 本文采用一种改进的推送求和算法（MPP），每个代理维护两个状态变量：值估计和权重估计，通过局部平均与归一化进行更新。
• 将每个时间步的通信网络建模为一个随机有向图，邻接矩阵 W(t) 表示可用的连接及其权重。
• 收敛性分析依赖于对随机列随机矩阵乘积的界，引入量 Λt,s 来捕捉影响力随时间的衰减。
• 提出对 Λt,s 的概率尾部界，表明 P(Λt,s > 2λ^{t−s}) ≤ 13e^{−c₁(t−s)} 且 E[Λt,s] ≤ 15λ^{t−s}，其中 λ ∈ (0,1) 依赖于网络规模和连通性。
• 该方法假设扰动有界：‖ε(t)‖₁ ≤ U/t^γ，并采用调和加权 α(k+1) = 1/(k+1)^γ 对估计值进行时间平均。
• 通过期望与积分比较推导出关键误差界，当 γ = 1/2 时，可获得 O(1/√t) 的收敛速率。

实验结果

研究问题

• RQ1 当通信图在每个时间步随机选择时，分布式优化算法的收敛速率是多少？
• RQ2 在随机且不确定的通信模式下，改进的推送求和算法能否实现可证明的收敛速度保证？
• RQ3 随机网络实现如何影响收敛速度？能否通过矩阵积的概率界进行量化？
• RQ4 在何种扰动与网络连通性条件下，可保证特定的收敛速率，如 O(1/√t)？

主要发现

• 本文首次在随机有向通信图下建立了分布式优化的 O(1/√t) 收敛速率上界。
• 平均状态估计的期望误差以 O(1/√t) 衰减，该上界依赖于初始状态范数、扰动幅度和网络参数。
• 分析表明，随机列随机矩阵的乘积在期望下呈指数衰减，满足 E[Λt,s] ≤ 15λ^{t−s}，其中 λ < 1 依赖于网络规模和连通性。
• 当扰动满足 ‖ε(t)‖₁ ≤ U/t^γ 时，若 γ = 1/2，则收敛速率达到 O(1/√t)，与加权平均的调和衰减一致。
• 该上界通过积分比较与概率尾部估计推导得出，从而得到时间加权平均误差的有限期望。
• 结果证实了算法的几乎必然收敛性，同时提供了定量速率，填补了先前关于随机网络优化研究中缺失的一环。