[论文解读] On the Quadratic Convergence of the Cubic Regularization Method under a Local Error Bound Condition

Man–Chung Yue, Zirui Zhou+1 more|arXiv (Cornell University)|Jan 29, 2018

Sparse and Compressive Sensing Techniques参考文献 22被引用 3

一句话总结

该论文在局部误差界（EB）条件下建立了立方正则化（CR）方法的Q-二次收敛性，该条件比经典的非退化条件弱得多。作者证明了即使在退化、非孤立极小值点的情形下，CR方法也能通过利用EB条件实现对二阶临界点的二次收敛。此外，他们进一步表明该EB条件在无凸性假设下等价于二次增长条件。

ABSTRACT

In this paper we consider the cubic regularization (CR) method for minimizing a twice continuously differentiable function. While the CR method is widely recognized as a globally convergent variant of Newton's method with superior iteration complexity, existing results on its local quadratic convergence require a stringent non-degeneracy condition. We prove that under a local error bound (EB) condition, which is much weaker a requirement than the existing non-degeneracy condition, the sequence of iterates generated by the CR method converges at least Q-quadratically to a second-order critical point. This indicates that adding a cubic regularization not only equips Newton's method with remarkable global convergence properties but also enables it to converge quadratically even in the presence of degenerate solutions. As a byproduct, we show that without assuming convexity, the proposed EB condition is equivalent to a quadratic growth condition, which could be of independent interest. To demonstrate the usefulness and relevance of our convergence analysis, we focus on two concrete nonconvex optimization problems that arise in phase retrieval and low-rank matrix recovery, respectively, and prove that with overwhelming probability, the sequence of iterates generated by the CR method for solving these two problems converges at least Q-quadratically to a global minimizer. We also present numerical results of the CR method when applied to solve these two problems to support and complement our theoretical development.

研究动机与目标

• 在标准非退化假设之外更弱的条件下，建立立方正则化（CR）方法的局部二次收敛性。
• 分析在非孤立极小值点存在时CR方法的收敛行为，这类情形在相位恢复和低秩矩阵恢复等非凸问题中很常见。
• 证明所提出的局部误差界（EB）条件在不假设凸性的情况下等价于二次增长条件，该结果本身具有独立兴趣。
• 通过相位恢复和低秩矩阵恢复问题的数值实验验证理论结果。
• 证明在高概率下，CR方法在两个具体非凸优化问题中以Q-二次速率收敛至全局极小值点。

提出的方法

• 作者引入一种局部误差界（EB）条件，用于刻画目标函数在二阶临界点附近的局部几何结构。
• 他们证明，在该EB条件下，CR方法生成的迭代序列至少以Q-二次速率收敛至二阶临界点。
• 该分析依赖于CR迭代序列的任意聚点均为二阶临界点这一关键结构性性质。
• 作者建立了所提出的EB条件与非凸设置下二次增长条件之间的等价性，且无需假设凸性。
• 他们通过证明在标准随机模型假设下，EB条件在相位恢复和低秩矩阵恢复这两个非凸问题中以高概率成立，将理论应用于具体问题。
• 使用算法1（CR方法）配合自适应正则化进行数值实验，通过相对误差（RE）监控收敛性，当RE < 10⁻⁸时终止迭代。

实验结果

研究问题

• RQ1 立方正则化方法是否能在弱于标准非退化假设的条件下实现Q-二次收敛？
• RQ2 在非凸优化中，不假设凸性时，局部误差界（EB）条件是否等价于二次增长条件？
• RQ3 在典型随机模型假设下，CR方法是否在相位恢复和低秩矩阵恢复等非凸问题中收敛至全局极小值点？
• RQ4 CR方法在这些非凸问题中的实际收敛行为如何表现，是否与理论预测一致？
• RQ5 当Hessian矩阵退化或极小值点非孤立时，CR方法是否仍能保持快速的局部收敛？

主要发现

• 在局部误差界（EB）条件下，CR方法至少以Q-二次速率收敛至二阶临界点，且该条件严格弱于非退化条件。
• 在非凸设置下，EB条件等价于二次增长条件，且该结论在不假设凸性下成立。
• 对于相位恢复问题，以高概率，CR方法生成的迭代序列以Q-二次速率收敛至全局极小值点。
• 对于低秩矩阵恢复问题，在相同概率模型下，CR方法同样以高概率实现对全局极小值点的Q-二次收敛。
• 数值结果验证了理论收敛速率：相对误差（RE）在最后几次迭代中呈超线性衰减，表明至少为二次收敛。
• 达到解的时间随问题规模合理增长，相位恢复问题的运行时间分别为4.7秒（n=64）、12.3秒（n=128）、129.6秒（n=256）和577.6秒（n=512），低秩恢复问题更大的规模下运行时间达5017.6秒。