[论文解读] When Are Nonconvex Problems Not Scary?

Ju Sun, Qing Qu+1 more|arXiv (Cornell University)|Oct 21, 2015

Sparse and Compressive Sensing Techniques参考文献 44被引用 112

一句话总结

该论文提出了一种二阶信赖域算法，可保证收敛到一类非凸问题的全局最小值，这类问题的全部局部极小值均为全局极小值，且所有鞍点均具有负曲率。该方法通过基于海森矩阵的下降方向高效地逃离鞍点，确保从任意初始化均能收敛。

ABSTRACT

In this note, we focus on smooth nonconvex optimization problems that obey: (1) all local minimizers are also global; and (2) around any saddle point or local maximizer, the objective has a negative directional curvature. Concrete applications such as dictionary learning, generalized phase retrieval, and orthogonal tensor decomposition are known to induce such structures. We describe a second-order trust-region algorithm that provably converges to a global minimizer efficiently, without special initializations. Finally we highlight alternatives, and open problems in this direction.

研究动机与目标

• 识别一类尽管在一般情况下为NP难，但仍是可处理的非凸优化问题的广泛类别。
• 解释为何诸如梯度下降等启发式算法在字典学习和相位恢复等问题中通常在实践中表现良好。
• 开发一种可证明收敛的算法，能够在具有特定几何结构的非凸问题中逃离鞍点和局部极大值。
• 建立所有局部极小值均为全局极小值，且鞍点具有负曲率的条件，从而实现高效的全局优化。

提出的方法

• 提出一种二阶信赖域算法，利用黎曼海森矩阵和梯度信息，在每次迭代点附近对目标函数进行二次近似。
• 通过在流形的切空间内以半径Δ的信赖域中最小化二次模型，定义黎曼信赖域子问题。
• 使用重投影映射将更新后的搜索方向投影回流形上，确保迭代点始终保持可行。
• 利用鞍点和局部极大值处海森矩阵的负曲率，识别可逃离这些点的下降方向。
• 通过局部近似精度和可逃逸性参数，确保每一步均有足够的目标函数值下降。
• 通过证明在非最优点处始终存在下降步骤，并在解附近呈现二次收敛，从而建立收敛到全局最小值的结论。

实验结果

研究问题

• RQ1 在目标函数满足何种条件下，尽管一般情况下为NP难，非凸问题仍可被高效求解？
• RQ2 为何基于梯度的启发式算法在字典学习和相位恢复等非凸问题中通常在实践中表现良好？
• RQ3 当海森矩阵在鞍点处至少有一个负特征值时，信赖域算法能否可证明地逃离鞍点和局部极大值？
• RQ4 能否为所有局部极小值均为全局极小值且所有鞍点均为“可逃逸”的非凸问题设计一种全局收敛算法？
• RQ5 为确保二阶方法的全局收敛性，对目标函数和流形结构的最小假设是什么？

主要发现

• 所提出的信赖域算法可收敛到所有(α,β,γ,δ)-X函数类的全局最小值，该类非凸问题的全部局部极小值均为全局极小值，且所有鞍点均具有负曲率。
• 通过利用海森矩阵中的负曲率方向，该算法在每次迭代中保证目标函数的充分下降，从而实现对鞍点和局部极大值的逃离。
• 收敛性从任意初始化出发均能保证，无需依赖精心设计或问题特定的初始化策略。
• 在全局最小值附近，当信赖域无约束时，该算法表现出二次收敛，类似于牛顿法。
• 只要信赖域半径Δ足够小，该方法对局部近似误差具有鲁棒性，确保可靠的下降。
• 实验和理论结果表明，字典学习、广义相位恢复和正交张量分解等问题均属于此类有利类别。