[论文解读] Technical Report: A Totally Asynchronous Algorithm for Tracking Solutions to Time-Varying Convex Optimization Problems

Gabriel Behrendt, Matthew Hale|arXiv (Cornell University)|Oct 13, 2021

Distributed Control Multi-Agent Systems参考文献 34被引用 4

一句话总结

本文提出了一种完全异步的一阶分布式算法，用于在多智能体系统中跟踪时变凸优化问题的解。该算法允许智能体以任意时间间隔进行计算与通信，并支持有限延迟，其收敛速率仅取决于操作序列，而非时间安排，且在资源受限条件下优化操作序列以最小化跟踪误差。

ABSTRACT

This paper presents a decentralized algorithm for a team of agents to track time-varying fixed points that are the solutions to time-varying convex optimization problems. The algorithm is first-order, and it allows for total asynchrony in the communications and computations of all agents, i.e., all such operations can occur with arbitrary timing and arbitrary (finite) delays. Convergence rates are computed in terms of the communications and computations that agents execute, without specifying when they must occur. These rates apply to convergence to the minimum of each individual objective function, as well as agents' long-run behavior as their objective functions change. Then, to improve the usage of limited communication and computation resources, we optimize the timing of agents' operations relative to changes in their objective functions to minimize total fixed point tracking error over time. Simulation results are presented to illustrate these developments in practice and empirically assess their robustness to uncertainties in agents' update laws.

研究动机与目标

• 解决时变凸优化问题中异步算法缺乏收敛性保证的问题。
• 使智能体在计算与通信完全异步的条件下，仍能跟踪时变最优解。
• 推导仅依赖于操作序列而非延迟界限或固定时序的收敛速率。
• 在资源受限条件下，优化通信与计算的顺序，以最小化固定点跟踪误差。
• 通过实验验证算法在动态环境中对噪声和异步性的鲁棒性。

提出的方法

• 该算法采用基于块的、一阶梯度下降法，支持完全异步更新，智能体可独立更新和通信决策变量的子集。
• 收敛速率基于通信与计算的交错顺序推导，不依赖于延迟有界性或同步时序。
• 构建约束优化问题，以确定在通信与计算约束下最小化跟踪误差的最优操作序列。
• 最优序列以闭式解形式求得，支持根据目标函数变化实时调整操作顺序。
• 该方法应用于具有离散切换的二次目标函数问题，以及存在测量不确定性的噪声反馈优化问题。
• 仿真验证了在异步与噪声条件下的性能，结果表明系统可在有界误差球内稳定跟踪。

实验结果

研究问题

• RQ1 能否设计一种完全异步的多智能体算法，在不依赖延迟有界性或同步时序的前提下，跟踪时变凸优化问题的解？
• RQ2 如何基于操作序列而非时间约束来量化收敛速率？
• RQ3 在资源受限条件下，如何确定通信与计算的最优序列以最小化固定点跟踪误差？
• RQ4 在反馈优化设置中，当存在测量噪声时，该算法性能如何？
• RQ5 当目标函数发生突变时，该算法能否维持有界的跟踪误差？

主要发现

• 所提算法在完全异步条件下可收敛至时变最优解，收敛速率仅取决于通信与计算的操作序列，而非其时间安排。
• 在有限时间与渐近两种情形下，跟踪误差均被有界，且显式依赖于问题参数与操作序列。
• 在资源受限条件下，最优操作序列以闭式形式推导得出，可在通信与计算约束下最小化跟踪误差。
• 在具有离散目标函数切换的仿真中，智能体在第8次切换前的平均跟踪误差为1.192，即使在噪声测量下仍保持稳定。
• 算法对异步性与测量噪声表现出鲁棒性，能将跟踪误差维持在真实最小值附近的较小误差球内。
• 在目标函数切换时，误差会短暂上升，但随后通过后续通信周期迅速恢复，证实了其动态适应能力。