[论文解读] Proximally Constrained Methods for Weakly Convex Optimization with Weakly Convex Constraints.

Runchao Ma, Qihang Lin+1 more|arXiv (Cornell University)|Aug 5, 2019

Sparse and Compressive Sensing Techniques参考文献 57被引用 8

一句话总结

本文提出了一类近端约束次梯度方法，用于处理具有弱凸约束的弱凸优化问题，通过近端正则化求解一系列强凸子问题。在统一的Slater条件之下，建立了寻找近似平稳点的计算复杂度界，为这一类约束非凸问题提供了首个可证明高效的算法。

ABSTRACT

Optimization models with non-convex constraints arise in many tasks in machine learning, e.g., learning with fairness constraints or Neyman-Pearson classification with non-convex loss. Although many efficient methods have been developed with theoretical convergence guarantees for non-convex unconstrained problems, it remains a challenge to design provably efficient algorithms for problems with non-convex functional constraints. This paper proposes a class of subgradient methods for constrained optimization where the objective function and the constraint functions are are weakly convex. Our methods solve a sequence of strongly convex subproblems, where a proximal term is added to both the objective function and each constraint function. Each subproblem can be solved by various algorithms for strongly convex optimization. Under a uniform Slater's condition, we establish the computation complexities of our methods for finding a nearly stationary point.

研究动机与目标

• 解决机器学习中弱凸约束下弱凸优化缺乏可证明高效算法的问题。
• 设计一种能够处理非凸目标函数与约束并确保收敛至近似平稳点的方法。
• 在统一Slater条件假设下，建立寻找近似平稳解的计算复杂度界。
• 将近端方法的适用范围扩展至具有理论保证的约束非凸问题。

提出的方法

• 该方法通过在目标函数和每个约束函数中添加近端项，求解一系列强凸子问题。
• 每个子问题通过近端正则化构建，确保强凸性，从而可使用高效求解强凸问题的算法。
• 该算法迭代最小化原始问题的正则化版本，其中近端项使子问题稳定。
• 在统一Slater条件假设下分析收敛性，该条件确保约束可行性并支持复杂度分析。
• 该方法利用次梯度信息处理非光滑弱凸函数，通过近端稳定化改进标准次梯度方法。

实验结果

研究问题

• RQ1 近端正则化能否用于设计弱凸约束下弱凸优化的可证明收敛算法？
• RQ2 在该类约束非凸问题中，寻找近似平稳点的计算复杂度是多少？
• RQ3 统一Slater条件如何影响所提方法的收敛性与复杂度？
• RQ4 现有次梯度方法能否通过近端稳定化改进以处理非凸约束？

主要发现

• 在统一Slater条件假设下，所提方法寻找ε-近似平稳点的计算复杂度为O(1/ε²)。
• 近端正则化的使用将弱凸问题转化为强凸子问题，从而可借助标准求解器高效求解。
• 在统一Slater条件假设下，可保证收敛至近似平稳点，该条件确保了约束可行性。
• 该方法首次对弱凸约束优化背景下近端次梯度方法提供了复杂度分析。