[论文解读] SNAP: Finding Approximate Second-Order Stationary Solutions Efficiently for Non-convex Linearly Constrained Problems

Songtao Lu, Meisam Razaviyayn+3 more|arXiv (Cornell University)|Jul 9, 2019

Sparse and Compressive Sensing Techniques参考文献 32被引用 5

一句话总结

该论文提出SNAP，一种一阶算法，可高效找到具有线性约束的非凸优化问题的近似二阶平稳点（SOSPs）。通过利用一个通用的严格互补条件，SNAP 通过交替使用梯度投影和负曲率步长，实现了 O(1/ε².⁵) 的迭代复杂度，且每次迭代的计算成本为多项式级别，这是该类问题中首个具有全局亚线性收敛速度的一阶方法。

ABSTRACT

This paper proposes low-complexity algorithms for finding approximate second-order stationary points (SOSPs) of problems with smooth non-convex objective and linear constraints. While finding (approximate) SOSPs is computationally intractable, we first show that generic instances of the problem can be solved efficiently. More specifically, for a generic problem instance, certain strict complementarity (SC) condition holds for all Karush-Kuhn-Tucker (KKT) solutions (with probability one). The SC condition is then used to establish an equivalence relationship between two different notions of SOSPs, one of which is computationally easy to verify. Based on this particular notion of SOSP, we design an algorithm named the Successive Negative-curvature grAdient Projection (SNAP), which successively performs either conventional gradient projection or some negative curvature based projection steps to find SOSPs. SNAP and its first-order extension SNAP$^+$, require $\mathcal{O}(1/ε^{2.5})$ iterations to compute an $(ε, \sqrtε)$-SOSP, and their per-iteration computational complexities are polynomial in the number of constraints and problem dimension. To our knowledge, this is the first time that first-order algorithms with polynomial per-iteration complexity and global sublinear rate have been designed to find SOSPs of the important class of non-convex problems with linear constraints.

研究动机与目标

• 为解决在具有线性约束的非凸优化问题中高效计算近似二阶平稳点（SOSPs）的挑战。
• 识别在何种条件下寻找 SOSPs 变得计算上可行，特别是针对通用问题实例。
• 设计一种具有多项式每次迭代复杂度和全局亚线性收敛速率的一阶算法，用于约束非凸问题中的 SOSPs。
• 通过严格互补条件，建立两种 SOSPs 概念之间的等价性，从而实现高效验证。
• 开发一种实用算法，结合梯度投影与负曲率搜索，以逃离鞍点并收敛至 SOSPs。

提出的方法

• SNAP 使用一种连续负曲率梯度投影方法，交替执行标准梯度投影和基于负曲率的步骤。
• 它利用一个在 KKT 解中普遍成立的严格互补（SC）条件，从而实现两种 SOSP 定义之间的等价性。
• 该算法采用一个称为 SP-GD 的子程序，无需完整 Hessian 矩阵计算即可检测负曲率方向，依赖于随机化幂迭代。
• SNAP + 是一种一阶变体，用 SP-GD 替代了原始的 oracle 负特征对查找器，同时保持相同的收敛速率。
• 该方法通过结合目标函数值的充分下降与负曲率检测，确保收敛至 (ε, √ε)-SOSP。
• 每次迭代的复杂度在约束数量和问题维度上为多项式级别，具有良好的可扩展性。

实验结果

研究问题

• RQ1 在何种条件下，可以在具有线性约束的非凸问题中高效找到近似二阶平稳点？
• RQ2 一阶算法能否在具有多项式每次迭代成本的前提下，实现对 SOSPs 的全局亚线性收敛？
• RQ3 在约束环境下，如何在不显式计算 Hessian 矩阵的前提下高效检测负曲率？
• RQ4 在通用假设下，不同定义的二阶平稳点之间存在何种关系？
• RQ5 严格互补条件能否用于简化 SOSP 条件的验证？

主要发现

• SNAP 实现了 O(1/ε².⁵) 的迭代复杂度，用于求解具有线性约束的非凸问题的 (ε, √ε)-SOSP。
• 该算法在约束数量和问题维度上的每次迭代计算复杂度为多项式级别。
• 对于通用问题实例，严格互补条件以概率为一成立，从而实现两种 SOSP 定义之间的等价性。
• SP-GD 成功地以高概率识别出负曲率方向，每次调用仅需 O(1/ε_H) 次迭代。
• SNAP +，作为一阶变体，通过用 SP-GD 替代 oracle，保持了相同的收敛速率，确保了实用性。
• 该方法首次为该类约束非凸问题中的 SOSPs 提供了具有多项式每次迭代成本的全局亚线性收敛保证。