[论文解读] Proximal Point Methods for Optimization with Nonconvex Functional Constraints.

Digvijay Boob, Qi Deng+1 more|arXiv (Cornell University)|Aug 7, 2019

Optimization and Variational Analysis被引用 4

一句话总结

本文提出了一种新颖的近端点方法，用于具有非凸函数约束的非凸优化问题，将该问题转化为一系列凸子问题。在适当条件下，该方法在 $O(1/ε)$ 次迭代内收敛至 $ε$-KKT 点，且不精确变体仍保持收敛速率。

ABSTRACT

Nonconvex optimization is becoming more and more important in machine learning and operations research. In spite of recent progresses, the development of provably efficient algorithm for optimization with nonconvex functional constraints remains open. Such problems have potential applications in risk-averse machine learning, semisupervised learning and robust optimization among others. In this paper, we introduce a new proximal point type method for solving this important class of nonconvex problems by transforming them into a sequence of convex constrained subproblems. We establish the convergence and rate of convergence of this algorithm to the KKT point under different types of constraint qualifications. In particular, we prove that our algorithm will converge to an $\epsilon$-KKT point in $O(1/\epsilon)$ iterations under a properly defined condition. For practical use, we present inexact variants of this approach, in which approximate solutions of the subproblems are computed by either primal or primal-dual type algorithms, and establish their associated rate of convergence. To the best of our knowledge, this is the first time that proximal point type method is developed for nonlinear programing with nonconvex functional constraints, and most of the convergence and complexity results seem to be new in the literature.

研究动机与目标

• 解决现有非凸优化算法在具有非凸函数约束问题中缺乏可证明高效性的不足。
• 构建一种将非凸问题转化为一系列凸子问题的框架。
• 在各种约束规范条件下，建立对 KKT 点的收敛性保证。
• 为算法的精确与不精确变体提供复杂度界与速率分析。
• 将近端点方法扩展至具有非凸约束的非线性规划，填补了文献中的空白。

提出的方法

• 提出一种类似近端点的算法，通过迭代求解由原始非凸问题导出的凸子问题。
• 使用正则化项以稳定子问题的解并确保收敛性。
• 应用约束规范以建立对 KKT 点的理论收敛保证。
• 引入不精确变体，其中子问题通过原始或原始-对偶算法近似求解。
• 通过限制子问题的求解精度，建立不精确变体的收敛速率。
• 利用近端正则化处理非凸性，确保全局收敛性。

实验结果

研究问题

• RQ1 能否有效将近端点方法适配于具有非凸函数约束的非线性规划问题？
• RQ2 在不同约束规范下，该方法能建立何种收敛保证？
• RQ3 在此设定下，达到 $ε$-KKT 点的迭代复杂度是多少？
• RQ4 子问题的不精确求解如何影响整体收敛速率与复杂度？
• RQ5 对于此类非凸优化问题，是否存在新颖的理论结果，关于收敛性与复杂度？

主要发现

• 在正确定义的约束规范下，所提算法在 $O(1/ε)$ 次迭代内收敛至 $ε$-KKT 点。
• 该方法将非凸问题转化为一系列凸子问题，从而实现稳定且收敛的优化。
• 当子问题以足够精度求解时，不精确变体仍保持相同的 $O(1/ε)$ 收敛速率。
• 在多种类型的约束规范下，已建立对 KKT 点的理论收敛性。
• 据我们所知，这是首个专为具有非凸函数约束的非线性规划设计的近端点方法。
• 本文提出的大多数收敛性与复杂度结果，对于该类问题在文献中均属首次出现。