[论文解读] Recent Theoretical Advances in Non-Convex Optimization

М. А. Данилова, Pavel Dvurechensky+5 more|arXiv (Cornell University)|Dec 11, 2020

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本综述全面概述了非凸优化领域近期的理论进展，重点研究一阶、随机和零阶方法的全局性能保证。在结构化假设（如Polyak–Łojasiewicz条件和α-弱拟凸性）下建立了收敛速率，即使在一般非凸问题难以求解的情况下，也能实现寻找驻点的多项式时间复杂度。

ABSTRACT

Motivated by recent increased interest in optimization algorithms for non-convex optimization in application to training deep neural networks and other optimization problems in data analysis, we give an overview of recent theoretical results on global performance guarantees of optimization algorithms for non-convex optimization. We start with classical arguments showing that general non-convex problems could not be solved efficiently in a reasonable time. Then we give a list of problems that can be solved efficiently to find the global minimizer by exploiting the structure of the problem as much as it is possible. Another way to deal with non-convexity is to relax the goal from finding the global minimum to finding a stationary point or a local minimum. For this setting, we first present known results for the convergence rates of deterministic first-order methods, which are then followed by a general theoretical analysis of optimal stochastic and randomized gradient schemes, and an overview of the stochastic first-order methods. After that, we discuss quite general classes of non-convex problems, such as minimization of $α$-weakly-quasi-convex functions and functions that satisfy Polyak--Lojasiewicz condition, which still allow obtaining theoretical convergence guarantees of first-order methods. Then we consider higher-order and zeroth-order/derivative-free methods and their convergence rates for non-convex optimization problems.

研究动机与目标

• 解决非凸设置下全局优化的理论挑战，因为一般问题难以求解。
• 识别允许一阶方法实现全局收敛保证的结构化非凸问题类别。
• 在寻找驻点等放宽目标下，分析确定性和随机一阶方法的收敛速率。
• 将理论分析扩展至高阶和零阶方法，以实现无梯度优化。
• 为机器学习和数据分析应用提供近期理论结果的统一概述。

提出的方法

• 利用经典例子分析一般非凸问题的不可解性，表明全局最小化是NP难问题。
• 引入松弛策略：(1) 利用隐藏凸性或问题结构，(2) 以寻找驻点替代寻找全局最小值。
• 在Polyak–Łojasiewicz条件下建立一阶方法的收敛保证，实现全局线性收敛。
• 分析α-弱拟凸函数，实现全局次线性收敛速率。
• 将理论分析应用于随机和随机梯度方案，推导出最优收敛速率。
• 考虑用于无梯度场景（如强化学习和对抗攻击）的零阶方法，推导其收敛速率。

实验结果

研究问题

• RQ1 尽管一般非凸问题难以求解，能否为非凸优化建立全局收敛保证？
• RQ2 目标函数的何种结构假设可使一阶方法实现全局收敛？
• RQ3 在非凸设置下，随机和随机一阶方法的最优收敛速率是什么？
• RQ4 高阶和零阶方法在非凸优化中具有理论保证时表现如何？
• RQ5 温度递减的Langevin动力学能否在非凸问题中实现全局收敛？

主要发现

• Polyak–Łojasiewicz条件可确保一阶方法实现全局线性收敛，从而实现多项式时间复杂度。
• 对于α-弱拟凸函数，一阶方法以速率O(1/√k)实现全局次线性收敛。
• 在适当假设下，随机一阶方法可实现最优收敛速率，其复杂度取决于问题结构。
• 零阶方法在无梯度场景（如黑箱攻击和仿真优化）中表现有效，且已推导出收敛速率。
• 温度递减的Langevin动力学（T_k = c / ln(2+k)）可确保在极限情况下收敛至全局最小值。
• 使用低差异序列（如Van der Corput序列）可改善初始点覆盖，实现d_n = O(√n m^{-1/n} ln m)。