[论文解读] Network Flows that Solve Least Squares for Linear Equations

Yang Liu, Youcheng Lou+2 more|arXiv (Cornell University)|Aug 13, 2018

Distributed Control Multi-Agent Systems参考文献 25被引用 6

一句话总结

该论文提出了一种一阶分布式连续时间网络流，用于在具有网络结构的线性方程组中求解最小二乘问题。每个代理通过本地平均与本地代价函数的梯度下降更新其状态，在固定或切换网络拓扑下，采用递减或平方可积步长时，能够收敛至最小二乘解。

ABSTRACT

This paper presents a first-order {distributed continuous-time algorithm} for computing the least-squares solution to a linear equation over networks. Given the uniqueness of the solution, with nonintegrable and diminishing step size, convergence results are provided for fixed graphs. The exact rate of convergence is also established for various types of step size choices falling into that category. For the case where non-unique solutions exist, convergence to one such solution is proved for constantly connected switching graphs with square integrable step size, and for uniformly jointly connected switching graphs under the boundedness assumption on system states. Validation of the results and illustration of the impact of step size on the convergence speed are made using a few numerical examples.

研究动机与目标

• 解决大规模系统中代理仅能访问局部数据时，分布式计算最小二乘解的挑战。
• 通过提出一种一阶、低复杂度的替代方法，克服现有方法（如二阶求解器或状态扩展）的局限性。
• 在切换网络拓扑下，为唯一和非唯一的最小二乘解建立收敛性保证。
• 基于步长选择与系统参数，提供收敛速度的分析界。
• 通过数值仿真验证算法的性能及其对步长的敏感性。

提出的方法

• 提出一种连续时间网络流，其中每个代理通过与邻居进行本地平均，并沿其本地代价函数的负梯度方向下降来更新状态。
• 在固定图中采用递减且不可积的步长，以确保收敛至唯一最小二乘解。
• 在具有恒定连通性的切换图中采用平方可积步长，以实现收敛至最小二乘解。
• 在系统状态有界的假设下，证明在统一联合连通的切换网络中实现收敛。
• 利用李雅普诺夫稳定性分析与图论性质（如联合连通性）在动态拓扑下建立收敛性。
• 将算法集成至网络化系统中，其中每个节点仅知晓自身的方程，并仅与邻居通信。

实验结果

研究问题

• RQ1 在具有固定连通性的网络中，一阶分布式连续时间算法能否收敛至网络线性系统的最小二乘解？
• RQ2 步长的选择如何影响固定与切换网络场景下的收敛速度？
• RQ3 在最小二乘解非唯一时，何种网络连通性条件可确保收敛？
• RQ4 在切换拓扑下，是否可在无需全程瞬时连通的条件下保证收敛？
• RQ5 当存在多个解时，系统收敛至哪一个特定最小二乘解由什么决定？

主要发现

• 在固定连通图中，若采用不可积且递减的步长，所有代理状态将渐近收敛至唯一最小二乘解。
• 采用平方可积步长时，该算法在恒定连通的切换图中收敛至最小二乘解。
• 在统一联合连通的切换图中，只要系统状态保持有界，即可实现收敛至最小二乘解。
• 收敛速度可被分析界约束，其依赖于步长选择、矩阵条件数及网络规模。
• 数值示例表明，当存在多个解时，收敛至的最小二乘解取决于初始条件。
• 该算法表现出鲁棒性能，且对步长敏感，步长衰减较慢时观察到更快的收敛速度。