[论文解读] Strong Metric (Sub)regularity of KKT Mappings for Piecewise Linear-Quadratic Convex-Composite Optimization

James V. Burke, Abraham Engle|arXiv (Cornell University)|May 3, 2018

Sparse and Compressive Sensing Techniques参考文献 30被引用 7

一句话总结

本文为分段线性-二次（PLQ）凸复合优化中的Karush-Kuhn-Tucker（KKT）映射建立了强度量次正则性和正则性条件，使得牛顿法与拟牛顿法在类似非线性规划的条件下实现局部二次收敛。该分析利用广义方程与活跃流形识别，将二阶收敛理论扩展至有限值函数之外的更广泛的PLQ类。

ABSTRACT

This work concerns the local convergence theory of Newton and quasi-Newton methods for convex-composite optimization: minimize f(x):=h(c(x)), where h is an infinite-valued proper convex function and c is C^2-smooth. We focus on the case where h is infinite-valued piecewise linear-quadratic and convex. Such problems include nonlinear programming, mini-max optimization, estimation of nonlinear dynamics with non-Gaussian noise as well as many modern approaches to large-scale data analysis and machine learning. Our approach embeds the optimality conditions for convex-composite optimization problems into a generalized equation. We establish conditions for strong metric subregularity and strong metric regularity of the corresponding set-valued mappings. This allows us to extend classical convergence of Newton and quasi-Newton methods to the broader class of non-finite valued piecewise linear-quadratic convex-composite optimization problems. In particular we establish local quadratic convergence of the Newton method under conditions that parallel those in nonlinear programming when h is non-finite valued piecewise linear.

研究动机与目标

• 将牛顿法与拟牛顿法的局部收敛理论扩展至复合函数 h 为无限值分段线性-二次（PLQ）且凸的凸复合问题。
• 建立KKT映射强度量次正则性与正则性的条件，以确保快速的局部收敛。
• 通过广义方程与活跃流形结构，弥合经典非线性规划收敛结果与非有限值PLQ函数之间的差距。
• 为现代优化问题（如鲁棒回归、非高斯估计与机器学习）中的二阶方法提供理论基础。

提出的方法

• 将凸复合问题的最优性条件嵌入形式为 g(x,y) + G(x,y) ∋ 0 的广义方程中，其中 g 为 C¹ 光滑函数，G 为集值映射。
• 利用拉格朗日结构导出的KKT矩阵 ∇g(x,y)，通过线性化广义方程定义牛顿迭代。
• 应用变分分析工具，包括强度量次正则性与正则性，分析局部收敛行为。
• 采用Rockafellar的部分光滑性与活跃流形理论，刻画 dom(h) 的几何结构并识别活跃集结构。
• 在拉格朗日的海森矩阵与活跃流形的曲率上施加二阶充分条件，以确保局部唯一性与快速收敛。
• 证明：当KKT映射在解处强度量次正则时，牛顿迭代呈二次收敛。

实验结果

研究问题

• RQ1 在何种条件下，PLQ-凸复合问题的KKT映射是强的度量次正则的？
• RQ2 是否可以为非有限值PLQ函数建立类似于经典非线性规划的牛顿法局部二次收敛性？
• RQ3 PLQ函数 h 的活跃流形结构如何影响二阶方法的正则性与收敛性？
• RQ4 广义方程框架在统一不同类复合优化问题的收敛性分析中起到何种作用？

主要发现

• 当二阶充分条件成立且活跃流形具有部分光滑性时，KKT映射在解处是强的度量次正则的。
• 当KKT映射强的度量次正则时，牛顿法实现局部二次收敛，其条件与非线性规划中的情况平行。
• 牛顿迭代对应于求解线性化广义方程 g(x^k,y^k) + ∇g(x^k,y^k)(x^{k+1}-x^k, y^{k+1}-y^k) = 0，从而保证快速的局部收敛。
• 当 h 为分段线性（PLQ 的特例）时，结果恢复了 Womersley（1988）的已知收敛速率，但现已扩展至非有限值情形。
• 分析表明，当拉格朗日的海森矩阵在活跃流形的切空间上正定时，牛顿法在解的邻域内呈二次收敛。
• 只要局部保持活跃流形结构，即使 h 为无限值，该方法仍保持定义良好且收敛。