[论文解读] Newton-MR: Newton's Method Without Smoothness or Convexity

Fred Roosta, Yang Liu+2 more|arXiv (Cornell University)|Sep 30, 2018

Advanced Optimization Algorithms Research参考文献 84被引用 22

一句话总结

Newton-MR 是一种改进的 Newton-CG 算法，在无需假设梯度和海森矩阵的凸性或利普希茨连续性条件下，实现了对内凸问题的全局收敛。通过引入一种更弱的联合正则性条件，并求解简单的最小二乘子问题，该方法确保了向极小值集合的全局收敛，将 Newton-CG 的局部收敛性推广至非孤立极小值点。

ABSTRACT

Establishing global convergence of Newton-CG has long been limited to making strong convexity assumptions. Hence, many Newton-type variants have been proposed which aim at extending Newton-CG beyond strongly convex problems. However, the analysis of almost all these non-convex methods commonly relies on the Lipschitz continuity assumptions of the gradient and Hessian. Furthermore, the sub-problems of many of these methods are themselves non-trivial optimization problems. Here, we show that two simple modifications of Newton-CG result in an algorithm, called Newton-MR, which offers a diverse range of algorithmic and theoretical advantages. Newton-MR can be applied, beyond the traditional convex settings, to invex problems. Sub-problems of Newton-MR are simple ordinary least squares. Furthermore, by introducing a weaker notion of joint regularity of Hessian and gradient, we establish the global convergence of Newton-MR even in the absence of the usual smoothness assumptions. We also obtain Newton-MR's local convergence guarantee that generalizes that of Newton-CG. Specifically, unlike the local convergence analysis of Newton-CG, which relies on the notion of isolated minimum, our analysis amounts to local convergence to the set of minima.

研究动机与目标

• 为克服 Newton-CG 在非凸设置下的局限性，其全局收敛通常受限于强凸性和光滑性假设。
• 消除在牛顿型方法收敛性分析中对梯度和海森矩阵利普希茨连续性的依赖。
• 设计具有计算简单子问题（特别是普通最小二乘）的方法，以提升实际适用性。
• 在海森矩阵与梯度的更弱联合正则性条件下建立全局收敛性，适用于光滑和凸问题之外的场景。
• 通过展示向极小值集合的收敛性，而非仅要求孤立极小值点，推广局部收敛性保证。

提出的方法

• 引入对海森矩阵与梯度的更弱联合正则性条件，替代标准的光滑性假设。
• 通过引入一种线搜索策略来修改 Newton-CG，确保目标函数充分下降，而无需依赖梯度或海森矩阵的利普希茨连续性。
• 使用截断共轭梯度法求解牛顿子问题，其中子问题简化为求解标准最小二乘系统。
• 采用类似信赖域的步长选择机制，即使在缺乏强凸性条件下也能确保全局收敛。
• 通过分析算法在下降行为和向极小值集合推进方面的表现，建立收敛性，而不仅限于孤立的临界点。
• 将局部收敛分析推广，允许向极小值集合中的任意点收敛，而非仅要求孤立极小值点。

实验结果

研究问题

• RQ1 Newton-CG 是否能在不假设海森矩阵与梯度的强凸性或利普希茨连续性条件下，实现对非凸问题的全局收敛？
• RQ2 牛顿型方法中的子问题是否可简化为普通最小二乘，同时保持收敛性保证？
• RQ3 是否存在对海森矩阵与梯度的更弱正则性条件，仍能确保 Newton-CG 变体的全局收敛？
• RQ4 是否可将局部收敛性推广至向极小值集合的收敛，而非仅限于孤立极小值点？
• RQ5 能否设计一种牛顿型方法，有效应用于内凸问题（其为凸问题的推广，但缺乏强凸性）？

主要发现

• Newton-MR 在无需假设梯度与海森矩阵的凸性或利普希茨连续性条件下，实现了对内凸问题的全局收敛。
• Newton-MR 中的子问题为普通最小二乘问题，相较于其他非凸牛顿方法中的复杂子问题，计算显著简化。
• 对海森矩阵与梯度的更弱联合正则性条件已足够建立全局收敛性，将 Newton-CG 的适用范围扩展至光滑和凸设定之外。
• Newton-MR 将局部收敛性推广至向极小值集合的收敛，消除了对孤立极小值点假设的依赖，从而放宽了 Newton-CG 局部分析的限制。
• 该算法在最小光滑性假设下仍保持全局收敛性，适用于更广泛的非光滑与非凸优化问题类别。