[论文解读] Newton-Raphson Consensus under asynchronous and lossy communications for peer-to-peer networks

Nicoletta Bof, Ruggero Carli+3 more|arXiv (Cornell University)|Jul 28, 2017

Distributed Control Multi-Agent Systems参考文献 30被引用 12

一句话总结

本文提出了一种基于牛顿-拉夫森（Newton-Raphson）的共识算法，用于在具有异步和丢包通信的对等网络中进行分布式凸优化。通过集成一种对丢包具有鲁棒性的基于广播的平均一致性机制，该方法在较弱条件下（包括持续的节点激活和有界连续通信故障）实现了对全局最优解的局部指数稳定性。

ABSTRACT

In this work we study the problem of unconstrained convex-optimization in a fully distributed multi-agent setting which includes asynchronous computation and lossy communication. In particular, we extend a recently proposed algorithm named Newton-Raphson Consensus by integrating it with a broadcast-based average consensus algorithm which is robust to packet losses. We show via the separation of time scales principle that under mild conditions (i.e., persistency of the agents activation and bounded consecutive communication failures) the proposed algorithm is proved to be locally exponentially stable with respect to the optimal global solution. Finally, we complement the theoretical analysis with numerical simulations that are based on real datasets.

研究动机与目标

• 解决在通信不可靠且异步的真实网络中进行分布式凸优化的挑战。
• 克服现有次梯度法和ADMM方法的局限性，这些方法需要同步更新或可靠通信。
• 在完全分布式、对等网络环境中，通过牛顿-拉夫森方向实现二阶优化，且通信链路存在丢包。
• 在实际网络条件下（如间歇性连接和可变延迟）确保收敛至全局最优解。
• 通过时间尺度分离和鲁棒一致性机制，建立理论稳定性保证。

提出的方法

• 将牛顿-拉夫森方向计算与一种对丢包具有鲁棒性的基于广播的平均一致性算法相结合。
• 采用双时间尺度方法：快速内环用于基于一致性的海森矩阵和梯度平均，慢速外环用于本地变量更新。
• 将系统建模为具有两个状态的离散时间非线性系统：原始变量（x）和辅助一致性状态（ξ）。
• 应用时间尺度分离原理，解耦动力学，并在冻结内环动力学的条件下分析外环的稳定性。
• 利用当x保持不变时，一致性子系统（ξ）的指数稳定性，确保内环收敛至稳定轨迹。
• 通过验证外环动力学的雅可比矩阵条件和海森矩阵近似的有界性，证明全局最优解的局部指数稳定性。

实验结果

研究问题

• RQ1 能否使基于牛顿-拉夫森的分布式优化在对等网络中对异步和丢包通信具有鲁棒性？
• RQ2 牛顿-拉夫森步长与丢包一致性机制结合时，在何种条件下可收敛至全局最优解？
• RQ3 如何应用时间尺度分离以确保具有耦合、异步动力学的系统稳定性？
• RQ4 对节点激活和通信可靠性的何种假设足以保证收敛？
• RQ5 在无全局同步的丢包分布式环境中，二阶方法是否能比一阶方法实现更快的收敛速度？

主要发现

• 所提出的算法在较弱条件下（持续节点激活和有界连续通信故障）实现了相对于全局最优解的局部指数稳定性。
• 收敛速度为指数级，轨迹满足 ‖x(k)−x*‖ ≤ Cλ^k‖x(0)−x*‖，其中 0 < λ < 1 且 C > 0，当 ε 足够小时成立。
• 稳定性分析依赖于时间尺度分离，即当原始变量（x）保持不变时，一致性子系统（ξ）以指数速度收敛。
• 该方法对数据包丢失具有鲁棒性，因为平均一致性组件被设计为可处理缺失数据，而无需重传或确认机制。
• 使用真实数据集的数值仿真验证了理论结果，并表明即使在高链路丢包率下也能实现快速收敛。
• 该算法在完全分布式、异步且不可靠的网络环境中保持了二阶收敛特性，其收敛速度优于一阶方法。