[论文解读] Parallel and Distributed Methods for Nonconvex Optimization-Part I: Theory

Gesualdo Scutari, Francisco Facchinei+2 more|arXiv (Cornell University)|Oct 17, 2014

Sparse and Compressive Sensing Techniques参考文献 33被引用 36

一句话总结

该论文提出了一种通用、可行且灵活的非凸优化框架，通过迭代求解基于原始非凸目标函数和约束的凸近似所构成的强凸子问题。该方法确保收敛至驻点，并支持分布式与并行实现，统一并扩展了现有的连续凸逼近（Successive Convex Approximation, SCA）方法，在更广泛的应用场景下具有更宽松的近似紧致性假设。

ABSTRACT

In this two-part paper, we propose a general algorithmic framework for the minimization of a nonconvex smooth function subject to nonconvex smooth constraints. The algorithm solves a sequence of (separable) strongly convex problems and mantains feasibility at each iteration. Convergence to a stationary solution of the original nonconvex optimization is established. Our framework is very general and flexible; it unifies several existing Successive Convex Approximation (SCA)-based algorithms such as (proximal) gradient or Newton type methods, block coordinate (parallel) descent schemes, difference of convex functions methods, and improves on their convergence properties. More importantly, and differently from current SCA approaches, it naturally leads to distributed and parallelizable implementations for a large class of nonconvex problems. This Part I is devoted to the description of the framework in its generality. In Part II we customize our general methods to several multi-agent optimization problems, mainly in communications and networking; the result is a new class of (distributed) algorithms that compare favorably to existing ad-hoc (centralized) schemes (when they exist).

研究动机与目标

• 开发一种通用的算法框架，用于求解具有非凸约束的非凸光滑优化问题，同时在每次迭代中保持可行性。
• 在单一、灵活的理论结构下，统一并扩展现有的集中式连续凸逼近（SCA）方法。
• 使该框架能够支持大规模非凸问题的分布式与并行实现，特别是在多智能体系统中。
• 放宽对目标函数凸近似必须为全局上界的要求，从而提升方法的适用性。
• 在较弱假设下（包括子问题的强凸性与梯度的Lipschitz连续性）建立对原始非凸问题驻点解的收敛性。

提出的方法

• 在每次迭代中，用凸近似替换原始的非凸目标函数和约束，形成一系列强凸子问题。
• 每个子问题使用标准的原始/对偶分解技术求解，支持分布式与并行计算。
• 该框架采用连续凸逼近策略，其中近似基于原始函数的梯度与Hessian信息构建。
• 通过确保所有迭代点均满足原始约束，保持可行性，即使在中间步骤中亦然。
• 凸近似无需是原始函数的全局上界，从而在近似设计上具有更大的灵活性。
• 通过理论分析（包括子问题的强凸性与解映射的Lipschitz连续性）证明收敛至驻点。

实验结果

研究问题

• RQ1 能否开发一种通用的非凸优化框架，以保持可行性并支持分布式计算？
• RQ2 如何将现有基于SCA的方法统一于一个具有更广泛应用性的单一理论框架下？
• RQ3 在何种条件下，可确保该框架下原始非凸问题的解收敛至驻点？
• RQ4 放宽对近似必须为紧致全局上界的限制，如何提升该方法的灵活性与适用性？
• RQ5 如何使该框架适应于网络与多智能体系统中大规模非凸问题的并行与分布式实现？

主要发现

• 在较弱假设下（包括子问题的强凸性与近似函数梯度的Lipschitz连续性），所提框架可确保收敛至原始非凸问题的驻点。
• 该方法在每次迭代中均保持可行性，这对目标函数在可行集外无定义，或必须在线满足约束的应用场景至关重要。
• 该框架广义化并统一了若干经典基于SCA的算法，包括近端梯度法、块坐标下降法与DC规划方法。
• 通过允许目标函数的非紧致凸近似，该方法显著扩展了相较于以往SCA方法可适用的问题范围。
• 每个子问题的解可通过原始/对偶分解以分布式方式计算，从而支持在并行架构上的可扩展实现。
• 理论收敛性通过Danskin定理与强凸性论证等工具得到证明，且该证明可推广至可行集非全空间的情形。