[论文解读] Zeroth Order Nonconvex Multi-Agent Optimization over Networks

Davood Hajinezhad, Mingyi Hong+1 more|arXiv (Cornell University)|Oct 27, 2017

Distributed Control Multi-Agent Systems参考文献 46被引用 40

一句话总结

该论文提出了一种用于非凸多智能体网络的零阶分布式优化算法，其中智能体仅能访问目标函数值（无梯度信息）。该算法引入了一种带有梯度追踪与方差缩减的原始-对偶方法，在一般网络拓扑下实现了对驻点的次线性收敛，收敛速率取决于局部光滑性与网络结构。

ABSTRACT

In this paper, we consider distributed optimization problems over a multi-agent network, where each agent can only partially evaluate the objective function, and it is allowed to exchange messages with its immediate neighbors. Differently from all existing works on distributed optimization, our focus is given to optimizing a class of non-convex problems, and under the challenging setting where each agent can only access the zeroth-order information (i.e., the functional values) of its local functions. For different types of network topologies such as undirected connected networks or star networks, we develop efficient distributed algorithms and rigorously analyze their convergence and rate of convergence (to the set of stationary solutions). Numerical results are provided to demonstrate the efficiency of the proposed algorithms.

研究动机与目标

• 解决多智能体网络中智能体无法获取梯度信息的分布式非凸优化问题。
• 在零阶信息约束下，为一般网络拓扑（无向图、星型图）设计高效算法。
• 基于仅函数值评估，建立非凸问题的全局收敛性与收敛速率分析。
• 克服一阶方法在实际应用中因梯度不可计算而带来的局限性。
• 在常数步长与有限通信条件下，提供对收敛至驻点解的理论保证。

提出的方法

• 提出一种带有梯度追踪的原始-对偶算法，以在网络中传播本地函数信息。
• 利用零阶预言机通过仅函数评估的有限差分近似来估计梯度。
• 引入方差缩减技术以提升收敛的稳定性和速率。
• 应用近端算子以处理优化问题中的非光滑正则化项。
• 设计一种基于均匀抽样智能体的随机块坐标方案，以降低计算开销。
• 利用带参数 μ 的平滑目标函数以确保可微性，并支持梯度估计。

实验结果

研究问题

• RQ1 能否仅通过零阶信息（函数值）且不访问梯度，实现分布式非凸优化？
• RQ2 在零阶反馈与有限通信条件下，能否为分布式非凸问题建立收敛保证？
• RQ3 网络拓扑结构与局部光滑性特性如何影响零阶分布式算法的收敛速率？
• RQ4 能否在零阶分布式非凸优化中使用常数步长以实现快速收敛？
• RQ5 梯度估计中的方差对算法收敛行为有何影响？

主要发现

• 在常数步长下，该算法以 O(1/T) 的速率实现对驻点集合的次线性收敛。
• 收敛速率依赖于局部光滑性参数之和 ∑√Lμ,i，表明局部函数越平滑，性能越优。
• 即使在函数评估存在噪声的情况下，算法仍能保持收敛，收敛误差受采样方差影响，上界为 O(1/J)。
• 理论分析表明，期望的最优性间隙 E[Ψᵤ] 上界为 O(1/T) + O(1/J)，其中 T 为迭代次数，J 为样本大小。
• 该方法对网络结构具有鲁棒性，已在无向图与星型拓扑下均证明收敛。
• 数值结果验证了所提算法在各类非凸测试问题中的高效性与可扩展性。