[论文解读] On the Distributed Optimization over Directed Networks

Chenguang Xi, Qiong Wu+1 more|arXiv (Cornell University)|Oct 7, 2015

Distributed Control Multi-Agent Systems参考文献 28被引用 6

一句话总结

本文提出了一种新型分布式优化算法——定向分布式梯度下降（D-DGD），适用于无法以分布式方式构建双随机权重矩阵的有向图。通过引入一个辅助变量来追踪状态更新，D-DGD 同时保持行随机和列随机的权重矩阵，从而实现一致性与最优性。该方法实现了 $O(\frac{\ln k}{\sqrt{k}})$ 的收敛速率，与最先进的非线性推送求和方法相当，且仅使用线性迭代，无需除法运算。

ABSTRACT

In this paper, we propose a distributed algorithm, called Directed-Distributed Gradient Descent (D-DGD), to solve multi-agent optimization problems over directed graphs. Existing algorithms mostly deal with similar problems under the assumption of undirected networks, i.e., requiring the weight matrices to be doubly-stochastic. The row-stochasticity of the weight matrix guarantees that all agents reach consensus, while the column-stochasticity ensures that each agent's local gradient contributes equally to the global objective. In a directed graph, however, it may not be possible to construct a doubly-stochastic weight matrix in a distributed manner. We overcome this difficulty by augmenting an additional variable for each agent to record the change in the state evolution. In each iteration, the algorithm simultaneously constructs a row-stochastic matrix and a column-stochastic matrix instead of only a doubly-stochastic matrix. The convergence of the new weight matrix, depending on the row-stochastic and column-stochastic matrices, ensures agents to reach both consensus and optimality. The analysis shows that the proposed algorithm converges at a rate of $O(\frac{\ln k}{\sqrt{k}})$, where $k$ is the number of iterations.

研究动机与目标

• 解决多智能体优化在有向图上缺乏分布式算法的问题，现有方法依赖于双随机权重矩阵。
• 克服在有向图上无法以分布式方式构造双随机矩阵的挑战。
• 在有向网络中实现分布式梯度下降的一致性与最优性，而无需依赖无向通信拓扑结构。
• 提出一种基于线性迭代的方法，避免使用如除法等非线性操作，与以往基于推送求和的方法形成对比。
• 为所提出的算法建立理论收敛保证及收敛速率分析。

提出的方法

• 在每个智能体 $i$ 处引入一个辅助变量 $\mathbf{y}_i^k$，用于追踪累积的状态更新，从而实现对行随机性和列随机性的独立处理。
• 在每次迭代中构建两个权重矩阵：一个行随机矩阵 $M$ 以确保智能体间的一致性，一个列随机矩阵 $W$ 以保持每个智能体梯度贡献的均等性。
• 使用线性迭代：$\mathbf{x}_i^{k+1} = \sum_{j \in \mathcal{N}_i^\text{in}} M_{ij} \mathbf{x}_j^k - \alpha \nabla f_i(\mathbf{x}_i^k) + \mathbf{y}_i^k$，以及 $\mathbf{y}_i^{k+1} = \mathbf{y}_i^k + \mathbf{x}_i^{k+1} - \sum_{j \in \mathcal{N}_i^\text{in}} M_{ij} \mathbf{x}_j^k$。
• 通过平衡一致性与梯度贡献，确保由 $M$ 和 $W$ 构成的组合权重矩阵能收敛至全局最优解。
• 利用权重矩阵的左特征向量分析收敛性，避免依赖双随机矩阵。

实验结果

研究问题

• RQ1 在无法构造双随机矩阵的有向网络中，能否使分布式梯度下降收敛至全局最优？
• RQ2 在有向图中，如何在不依赖无向通信假设的前提下，同时实现一致性与梯度贡献的平衡？
• RQ3 一种仅使用线性迭代且避免除法等非线性操作的分布式算法，其收敛速率是多少？
• RQ4 与现有基于推送求和的算法相比，所提出的 D-DGD 在收敛速度和稳定性方面表现如何？
• RQ5 在一般强连通有向图拓扑结构下，能否从理论上证明状态变量与辅助变量的收敛性？

主要发现

• D-DGD 算法通过辅助状态追踪，同时保持行随机和列随机权重矩阵，在有向网络中实现了对全局最优解的收敛。
• 该算法以 $O(\frac{\ln k}{\sqrt{k}})$ 的速率收敛，与最先进的非线性推送求和方法达到相同的最佳已知收敛速率。
• 数值实验表明，在边数更多的图（如 $\mathcal{G}_c$）中，由于信息交换能力增强，收敛速度更快。
• 所有智能体的状态变量 $\mathbf{x}_i^k$ 收敛至同一极限点 $\overline{\mathbf{z}}^k$，该点等于最优解 $\mathbf{x}^*$，而辅助变量 $\mathbf{y}_i^k$ 收敛至零。
• 与仅使用行随机矩阵的标准 DGD 相比，D-DGD 实现了真正的最优性，而 DGD 仅收敛至目标函数的加权和 $\widehat{f}(\mathbf{x}) = \sum \pi_i f_i(\mathbf{x})$。
• 所提方法避免了如除法等非线性操作，因此相较于推送求和变体，更适合实时和资源受限的分布式系统。