[论文解读] Revisiting Superlinear Convergence of Proximal Newton-Like Methods to Degenerate Solutions

Ching-pei Lee, Stephen J. Wright|arXiv (Cornell University)|Feb 11, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

本文发展了用于退化正则化优化与广义方程的非精确近端-牛顿类方法，在 Hölder 误差界下证明了超线性收敛性，并引入一种新的线搜索全局化策略，确保全局收敛并避免 Maratos 效应。

ABSTRACT

We describe inexact proximal Newton-like methods for solving degenerate regularized optimization problems and for the broader problem of finding a zero of a generalized equation that is the sum of a continuous map and a maximal monotone operator. Superlinear convergence for both the distance to the solution set and a certain measure of first-order optimality can be achieved under a Hölderian error bound condition, including for problems in which the continuous map is nonmonotone, with Jacobian singular at the solution and not Lipschitz. Superlinear convergence is attainable even when the Jacobian is merely uniformly continuous, relaxing the standard Lipschitz assumption to its theoretical limit. For convex regularized optimization problems, we introduce a novel globalization strategy that ensures strict objective decrease and avoids the Maratos effect, attaining local $Q$-superlinear convergence without prior knowledge of problem parameters. Unit step size acceptance in our line search strategy does not rely on continuity or even existence of the Hessian of the smooth term in the objective, making the framework compatible with other potential candidates for superlinearly convergent updates.

研究动机与目标

• 为求解退化正则化优化与广义方程，动机与分析近端-牛顿类方法。
• 在 Hölder 误差界条件下，即使雅可比矩阵非单调或平滑部分非 Lipschitz 也建立超线性收敛。
• 为凸正则化问题开发一种全局化策略，保证严格下降并避免 Maratos 效应。
• 展示在不要求连续性或 Hessian 存在的情况下实现单位步长接受，从而提高适用性。

提出的方法

• 研究带牛顿般缩放的阻尼前向-后向框架以求解广义方程 (A+B)(x)=0。
• 使用变量度量 H_t = μ_t Id + J_t 来近似更新，其中 μ_t = c r(x_t)^ρ，J_t 近似 ∇A(x_t)。
• 施加 Hölderian 误差界 dist(x,S) ≤ κ r(x)^q，分析残量 r(x_t) 与到解集距离的 R-与 Q-超线性收敛。
• 引入一种允许近似下一步迭代但保持收敛性的非精确性条件。
• 专门化到正则化优化 F(x)=f(x)+Ψ(x)，并推导出在广义条件下确保 F 全局下降和单位步长接受的全局化策略。
• 在希尔伯特空间中的广义方程设定下描述，更新中允许非厄米 Jacobian 的情况。

实验结果

研究问题

• RQ1 在退化设定下，近端-牛顿类方法在 Hölderian 误差界下能达到哪些收敛速度（R-与 Q-超线性）？
• RQ2 在保持超线性收敛的前提下，可以将平滑性假设（如 Jacobian 的 Lipschitz 连续性）放宽到何种程度？
• RQ3 是否可以在不依赖 Hessian 连续性的情况下，开发可保证全局收敛且避免 Maratos 效应的单位步长策略？
• RQ4 所提出的全局化策略在凸正则化优化和希尔伯特空间中的广义方程框架下的表现如何？
• RQ5 这些结果是否可以推广到非厄米 Jacobian 与非单调 A 的情形，同时保持超线性速率？

主要发现

• 在 Hölderian 误差界下，残量与解距均实现超线性收敛（R-与 Q-），即使 ∇A 奇异或仅均匀连续。
• 一种线搜索全局化策略保证目标下降和单位步长接受，而不需要 Hessian 连续性，并避免 Maratos 效应。
• 对于凸正则化问题，该策略实现目标值 F 的 Q-超线性收敛，并在 Hessian 为 Hölder 或均匀连续时实现快速局部收敛。
• 该框架可推广到广义方程 0 ∈ A+B 中，Jacobian 非厄米扩展了适用范围，超越传统平滑设置。
• 论文给出明确的参数范围（p, q, ρ），决定 R-与 Q-超线性收敛的出现，扩展了先前工作之外的收敛区间。