[论文解读] Random Coordinate Descent for Resource Allocation in Open Multi-Agent Systems

Charles Monnoyer de Galland, Renato Vizuete+3 more|arXiv (Cornell University)|May 20, 2022

Distributed Control Multi-Agent Systems被引用 4

一句话总结

本文提出了一种用于开放多智能体系统中资源分配的分布式随机坐标下降（RCD）算法，该系统在执行过程中允许智能体动态加入或离开。该算法在期望下实现线性收敛至稳态误差界，该误差界由封闭系统中算法收敛性与智能体替换对最优解轨迹影响之间的相互作用推导得出。

ABSTRACT

We propose a method for analyzing the distributed random coordinate descent algorithm for solving separable resource allocation problems in the context of an open multiagent system, where agents can be replaced during the process. In particular, we characterize the evolution of the distance to the minimizer in expectation by following a time-varying optimization approach which builds on two components. First, we establish the linear convergence of the algorithm in closed systems, in terms of the estimate towards the minimizer, for general graphs and appropriate step-size. Second, we estimate the change of the optimal solution after a replacement, in order to evaluate its effect on the distance between the current estimate and the minimizer. From these two elements, we derive stability conditions in open systems and establish the linear convergence of the algorithm towards a steady-state expected error. Our results enable to characterize the trade-off between speed of convergence and robustness to agent replacements, under the assumptions that local functions are smooth, strongly convex, and have their minimizers located in a given ball. The approach proposed in this paper can moreover be extended to other algorithms guaranteeing linear convergence in closed system.

研究动机与目标

• 解决在优化过程中智能体组成动态变化的开放多智能体系统中的资源分配挑战。
• 克服固定系统优化方法的局限性，后者假设智能体集合稳定，无法处理实时的智能体到达或离开。
• 设计一种适用于具有稀疏或动态通信拓扑的大规模系统的分布式、低复杂度算法。
• 以期望误差为度量，刻画收敛速度与对智能体替换鲁棒性之间的权衡。
• 在因替换导致最优解随时间变化的情况下，为RCD算法建立理论上的稳定性和收敛性保证。

提出的方法

• 将资源分配问题建模为具有局部凸代价函数和全局加权智能体状态等式约束的可分离约束优化问题。
• 应用随机坐标下降（RCD）算法，每轮迭代仅基于随机选择的一条边更新一个智能体的状态，从而最小化计算成本。
• 利用时变优化框架分析封闭系统中的收敛性，证明在一般图结构和合适步长下，该算法在适当范数下具有线性收敛性。
• 将智能体替换建模为对最优解的扰动，利用局部函数的曲率和替换频率来估计最优解的最小化器变化。
• 通过结合封闭系统的收敛速率与因替换引起的最优解变化，推导出到最小化器的期望距离的上界。
• 利用拉普拉斯矩阵的广义逆和加权范数，分析在异构智能体和网络拓扑存在情况下的收敛性和稳定性。

实验结果

研究问题

• RQ1 在执行过程中智能体可被替换的开放多智能体系统中，RCD算法的行为如何？
• RQ2 智能体替换对RCD算法收敛性有何影响，其导致的误差在期望下如何有界？
• RQ3 是否可在开放系统中保证线性收敛？在步长和系统参数满足何种条件下可实现？
• RQ4 网络拓扑（如完全图与环形图）以及智能体异质性（如不同权重）如何影响算法的收敛性和稳定性？
• RQ5 在期望误差的度量下，收敛速度与对智能体替换的鲁棒性之间存在何种权衡？

主要发现

• 当步长相对于系统的谱特性适切选择时，RCD算法在开放系统中可实现期望下的线性收敛至稳态误差。
• 期望误差由一个与替换引起的最优解变化成正比的项所界定，该系数与加权拉普拉斯矩阵的第二小特征值的倒数成比例。
• 对于具有同质智能体的完全图，当条件数κ较小时，该界最为紧密，且误差收敛至真实最小化器的较小邻域。
• 在稀疏图（如环形拓扑）或存在异质智能体的情况下，由于谱隙减小，有效步长范围缩小，影响收敛速度和稳定性。
• 理论上的期望误差上界（推论3）表现出一定的保守性，尤其在密集或条件良好的系统中，但在不同拓扑结构和替换模型下仍保持定性准确性。
• 数值仿真结果证实了在随机和对抗性替换场景下均存在线性收敛，且在各种配置下，误差轨迹紧密跟随所推导的上界。