[论文解读] On the Sublinear Regret of Distributed Primal-Dual Algorithms for Online Constrained Optimization

Soomin Lee, Michael M. Zavlanos|arXiv (Cornell University)|May 31, 2017

Distributed Control Multi-Agent Systems参考文献 5被引用 34

一句话总结

本文提出了一种用于时变网络中在线约束优化的分布式原始-对偶算法，其中各 agent 通过基于一致性估计的对偶变量方法，协作最小化全局目标函数，并满足全局耦合约束。在联合连通、权重平衡的有向图上，该算法在成本函数值和约束违反方面均实现了 $O(\sqrt{T})$ 量级的次线性遗憾。

ABSTRACT

This paper introduces consensus-based primal-dual methods for distributed online optimization where the time-varying system objective function $f_t(\mathbf{x})$ is given as the sum of local agents' objective functions, i.e., $f_t(\mathbf{x}) = \sum_i f_{i,t}(\mathbf{x}_i)$, and the system constraint function $\mathbf{g}(\mathbf{x})$ is given as the sum of local agents' constraint functions, i.e., $\mathbf{g}(\mathbf{x}) = \sum_i \mathbf{g}_i (\mathbf{x}_i) \preceq \mathbf{0}$. At each stage, each agent commits to an adaptive decision pertaining only to the past and locally available information, and incurs a new cost function reflecting the change in the environment. Our algorithm uses weighted averaging of the iterates for each agent to keep local estimates of the global constraints and dual variables. We show that the algorithm achieves a regret of order $O(\sqrt{T})$ with the time horizon $T$, in scenarios when the underlying communication topology is time-varying and jointly-connected. The regret is measured in regard to the cost function value as well as the constraint violation. Numerical results for online routing in wireless multi-hop networks with uncertain channel rates are provided to illustrate the performance of the proposed algorithm.

研究动机与目标

• 解决无法分解为局部约束集的全局耦合约束在线分布式优化问题。
• 设计一种去中心化算法，即使在通信拓扑时变和环境变化不确定的情况下，也能保持次线性遗憾。
• 将原始-对偶方法扩展至分布式设置，采用基于一致性的对偶变量平均方法以处理全局约束。
• 从时间范围 $T$、网络连通性及问题结构角度分析遗憾界。
• 在具有动态信道速率的现实无线多跳网络场景中验证该算法。

提出的方法

• 采用基于一致性的原始-对偶方法，每个 agent 通过邻居迭代值的加权平均来维护全局对偶变量的本地估计。
• 采用适用于具有全局约束的分布式在线优化的 Arrow-Hurwicz-Uzawa 方法的鞍点公式化形式。
• 引入最大函数 $[x]_+^\mu$ 的平滑近似以处理约束违反，其满足参数为 $\mu$ 的Lipschitz连续性。
• 基于非零路由速率定义通信矩阵 $W_t$，确保在时间上保持权重平衡且联合连通的图结构。
• 采用具有时变权重的对偶平均框架，以在 agent 之间保持对偶变量的一致性。
• 使用无需投影的更新规则，依赖局部梯度和一致性步骤以最小化遗憾。

实验结果

研究问题

• RQ1 分布式原始-对偶算法是否能在具有全局耦合约束的在线优化中实现次线性遗憾？
• RQ2 该算法在时变、联合连通的通信拓扑下表现如何？
• RQ3 遗憾对网络规模、连通性强度 $Q$ 和问题参数的依赖关系如何？
• RQ4 该算法能否处理无线网络中时变信道速率等现实世界不确定性？
• RQ5 平滑参数 $\mu$ 的选择如何影响收敛性和遗憾？

主要发现

• 在联合连通、时变的有向图上，该算法在成本函数值和约束违反方面均实现了最坏情况 $O(\sqrt{T})$ 量级的遗憾。
• 随时间 $T$ 增大，每步遗憾 $\mathcal{R}(T)/T$ 和 $\mathcal{R}^c(T)/T$ 趋近于零，证实了遗憾的次线性增长。
• 网络规模更大（$N=20$）时收敛更慢，表明遗憾增长随 agent 数量增加而加剧。
• 更高的连通性强度 $Q$ 导致成本函数遗憾收敛更慢，尽管约束违反保持稳定。
• 使用 $\mu=0.001$ 的平滑最大函数近似 $[x]_+^\mu$ 确保了Lipschitz连续性，并在仿真中实现了数值稳定性。
• 在无线多跳网络上的数值结果证实了该算法在不确定、动态信道条件下的有效性。