[论文解读] On the Convergence of a Multi-Agent Projected Stochastic Gradient Algorithm

Pascal Bianchi, Jérémie Jakubowicz|arXiv (Cornell University)|Jul 13, 2011

Distributed Control Multi-Agent Systems参考文献 36被引用 8

一句话总结

本文提出了一种用于非凸优化的分布式多智能体随机梯度算法，无需使用双随机性 gossip 矩阵。通过使用递减步长，该算法实现了渐近一致性并收敛至 Karush-Kuhn-Tucker 点，从而在仅支持广播的网络中实现低通信开销的节能运行。

ABSTRACT

We introduce a new framework for the convergence analysis of a class of distributed constrained non-convex optimization algorithms in multi-agent systems. The aim is to search for local minimizers of a non-convex objective function which is supposed to be a sum of local utility functions of the agents. The algorithm under study consists of two steps: a local stochastic gradient descent at each agent and a gossip step that drives the network of agents to a consensus. Under the assumption of decreasing stepsize, it is proved that consensus is asymptotically achieved in the network and that the algorithm converges to the set of Karush-Kuhn-Tucker points. As an important feature, the algorithm does not require the double-stochasticity of the gossip matrices. It is in particular suitable for use in a natural broadcast scenario for which no feedback messages between agents are required. It is proved that our result also holds if the number of communications in the network per unit of time vanishes at moderate speed as time increases, allowing for potential savings of the network's energy. Applications to power allocation in wireless ad-hoc networks are discussed. Finally, we provide numerical results which sustain our claims.

研究动机与目标

• 开发一种适用于具有非凸目标函数的多智能体系统的分布式优化框架。
• 在最小通信约束下确保收敛至 Karush-Kuhn-Tucker 点。
• 消除对双随机性 gossip 矩阵的需求，使其适用于自然广播场景。
• 允许随时间推移通信速率逐渐降低，从而减少网络能耗。
• 将该算法应用于无线自组织网络中的功率分配问题。

提出的方法

• 每个智能体使用其自身的本地效用函数执行局部随机梯度下降。
• 应用 gossip 步骤以在不依赖混合矩阵双随机性的情况下推动智能体达成一致性。
• 该算法使用递减步长，以确保尽管存在随机梯度也能实现收敛。
• 网络拓扑随时间演变，通信速率允许随时间增加而适度降低。
• 分析基于李雅普诺夫型论证和随机逼近理论，以证明收敛性。
• 通过无线功率分配场景中的数值仿真验证了该框架的有效性。

实验结果

研究问题

• RQ1 一种分布式多智能体随机梯度算法是否可以在不依赖双随机性 gossip 矩阵的情况下收敛至 KKT 点？
• RQ2 当智能体之间的通信速率随时间降低时，该算法表现如何？
• RQ3 在递减步长和非凸目标函数下，网络是否能实现渐近一致性？
• RQ4 该算法是否能在无反馈的自然广播环境中有效应用？
• RQ5 通信频率降低对收敛性和能效有何影响？

主要发现

• 在递减步长且无需双随机性 gossip 矩阵的条件下，该算法在网络中实现了渐近一致性。
• 证明了该分布式非凸优化问题可收敛至 Karush-Kuhn-Tucker 点集合。
• 即使单位时间内的通信次数随时间以适中速率趋于零，该算法依然有效。
• 由于通信需求低，该框架适用于能量受限环境。
• 数值结果在无线自组织网络功率分配场景中验证了理论结论。
• 该方法使得在仅支持广播且无反馈的环境中实现实际部署成为可能。