[论文解读] Online Distributed ADMM on Networks

Saghar Hosseini, Airlie Chapman+1 more|arXiv (Cornell University)|Dec 22, 2014

Distributed Control Multi-Agent Systems参考文献 34被引用 4

一句话总结

该论文提出了一种面向网络化智能体的在线分布式ADMM算法，用于在时变局部代价和线性一致性约束下优化复合凸目标函数。通过结合对偶平均法与分布式梯度下降，该算法实现了依赖于网络拓扑结构和约束条件度量的次线性社会遗憾边界，并在编队获取应用中得到验证。

ABSTRACT

This paper examines online distributed Alternating Direction Method of Multipliers (ADMM). The goal is to distributively optimize a global objective function over a network of decision makers under linear constraints. The global objective function is composed of convex cost functions associated with each agent. The local cost functions, on the other hand, are assumed to have been decomposed into two distinct convex functions, one of which is revealed to the decision makers over time and one known a priori. In addition, the agents must achieve consensus on the global variable that relates to the private local variables via linear constraints. In this work, we extend online ADMM to a distributed setting based on dual-averaging and distributed gradient descent. We then propose a performance metric for such online distributed algorithms and explore the performance of the sequence of decisions generated by the algorithm as compared with the best fixed decision in hindsight. This performance metric is called the social regret. A sub-linear upper bound on the social regret of the proposed algorithm is then obtained that underscores the role of the underlying network topology and certain condition measures associated with the linear constraints. The online distributed ADMM algorithm is then applied to a formation acquisition problem demonstrating the application of the proposed setup in distributed robotics.

研究动机与目标

• 开发一种适用于网络化智能体的分布式在线优化算法，其中智能体面临时变代价函数，并需在共享变量上达成一致。
• 通过一种新颖的度量——社会遗憾，分析性能，将在线决策与事后最优固定决策进行比较。
• 量化网络拓扑结构和约束条件度量对算法收敛性和遗憾的影响。
• 通过仅交换对偶变量而非本地原始变量，实现隐私保护的分布式决策。
• 通过分布式机器人中的编队获取问题，展示算法的适用性。

提出的方法

• 该算法通过引入对偶平均法扩展ADMM，以处理随时间逐步揭示的在线代价函数，同时保持分布式计算。
• 每个智能体基于本地代价和对偶变量，通过投影梯度步长更新其本地原始变量。
• 对偶变量通过分布式梯度下降更新，仅在邻居之间交换信息，以保护隐私。
• 在各智能体之间跟踪平均原始变量 θₜ 以确保一致性，利用网络混合特性对收敛性进行有界控制。
• 通过类似李雅普诺夫的分析方法，推导出次线性遗憾边界，结合网络矩阵 P 的谱性质和约束条件的度量。
• 该算法应用于编队获取问题，其中智能体在动态代价函数下协同优化位置和速度。

实验结果

研究问题

• RQ1 如何将在线ADMM扩展至具有时变局部代价和一致性约束的分布式网络设置？
• RQ2 在分布式系统中，何种性能度量最能捕捉在线决策与事后最优决策之间的权衡？
• RQ3 网络拓扑结构和约束条件度量如何影响分布式在线算法的收敛速度和遗憾？
• RQ4 是否可通过仅限对偶变量通信，在分布式在线优化中实现隐私保护？
• RQ5 在一般凸约束下，分布式在线ADMM算法可实现的理论次线性遗憾边界是多少？

主要发现

• 在标准假设下，建立了社会遗憾的次线性上界，其量级为 O(√T)，且依赖于网络谱间隙和约束条件度量。
• 遗憾边界显式地纳入了网络混合矩阵 P 的第二大奇异值 σ₂(P)，量化了网络特性对收敛性的影响。
• 该算法的遗憾边界依赖于线性约束的条件度量，条件数越差，遗憾越高。
• 采用对偶平均法可实现隐私保护，因为仅交换对偶变量，而不共享本地原始变量或代价函数。
• 在编队获取案例研究中验证了理论遗憾边界，展示了在分布式机器人中实际可行性和可扩展性。
• 在时变代价下，保持了 O(1/√T) 的收敛速率，与集中式在线优化中的已知速率一致。