[论文解读] On the R-superlinear convergence of the KKT residues generated by the augmented Lagrangian method for convex composite conic programming

Ying Cui, Defeng Sun+1 more|arXiv (Cornell University)|Jun 27, 2017

Optimization and Variational Analysis参考文献 36被引用 7

一句话总结

本文在对偶问题满足弱二次增长条件且满足Robinson约束资格的前提下，建立了增广Lagrangian方法（ALM）在凸复合锥规划（CCCP）中生成的KKT残差的R-超线性收敛性。该结果解决了长期悬而未决的开放问题，表明即使在不依赖唯一解或强误差界的情况下，也能实现快速收敛，从而解释了现代ALM求解器（如SDPNAL和QSDPNAL）性能优越的原因。

ABSTRACT

Due to the possible lack of primal-dual-type error bounds, the superlinear convergence for the Karush-Kuhn-Tucker (KKT) residues of the sequence generated by augmented Lagrangian method (ALM) for solving convex composite conic programming (CCCP) has long been an outstanding open question. In this paper, we aim to resolve this issue by first conducting convergence rate analysis for the ALM with Rockafellar's stopping criteria under only a mild quadratic growth condition on the dual of CCCP. More importantly, by further assuming that the Robinson constraint qualification holds, we establish the R-superlinear convergence of the KKT residues of the iterative sequence under easy-to-implement stopping criteria {for} the augmented Lagrangian subproblems. Equipped with this discovery, we gain insightful interpretations on the impressive numerical performance of several recently developed semismooth Newton-CG based ALM solvers for solving linear and convex quadratic semidefinite programming.

研究动机与目标

• 解决长期存在的开放问题：在缺乏原始-对偶误差界的情况下，增广Lagrangian方法（ALM）是否能在凸复合锥规划（CCCP）中实现R-超线性收敛？
• 在仅对偶问题满足弱二次增长条件的前提下，建立ALM的收敛速率，无需假设解的唯一性。
• 为ALM子问题提供可实施的停止准则，以确保KKT残差的R-超线性收敛。
• 解释近期基于半光滑Newton-CG的ALM求解器在线性和凸二次半定规划中表现出的快速数值收敛现象。

提出的方法

• 在CCCP对偶问题满足二次增长条件的前提下，使用Rockafellar的停止准则对ALM的收敛速率进行分析。
• 提出一种新框架，将KKT残差的R-超线性收敛性与Robinson约束资格以及可实施的子问题停止准则相联系。
• 将该理论应用于求解ALM子问题的半光滑Newton-CG方法，确保局部快速收敛。
• 利用KKT系统的自然映射形式刻画半定规划中的最优性与收敛行为。
• 采用带惩罚参数σk的增广Lagrangian函数，通过交替最小化和投影方式更新原变量与对偶变量。
• 推导出可实施的准则（原始与对偶），在不依赖KKT映射上Lipschitz连续性的情况下，保证R-超线性收敛。

实验结果

研究问题

• RQ1 在不依赖强误差界或唯一解的前提下，ALM在CCCP中能否实现KKT残差的R-超线性收敛？
• RQ2 在何种条件下，ALM能为凸复合锥规划生成R-超线性收敛的KKT残差？
• RQ3 ALM子问题的可实施停止准则是否足以保证KKT残差的R-超线性收敛？
• RQ4 为何近期的ALM求解器（如SDPNAL和QSDPNAL）在求解线性和凸二次SDP时表现出如此快速的数值收敛？
• RQ5 当KKT解映射不具备上Lipschitz连续性时，KKT残差的R-超线性收敛性是否仍然保持？

主要发现

• 在仅对偶问题满足弱二次增长条件且满足Robinson约束资格的前提下，ALM的KKT残差在CCCP中实现R-超线性收敛。
• 即使原始或对偶解不唯一，该收敛结果依然成立，从而消除了对强唯一性假设的需求。
• 为ALM子问题设计的可实施停止准则足以保证KKT残差的R-超线性收敛。
• 在加权最近相关矩阵问题上的数值实验验证了KKT残差的R-超线性收敛性，如残差与迭代次数的半对数图所示。
• 理论结果解释了最先进的ALM求解器（如SDPNAL、SDPNAL+和QSDPNAL）在求解线性和凸二次半定规划时表现出的卓越数值性能。
• 即使在存在缺失数据的问题中（如相关矩阵中随机设置的元素），KKT残差的R-超线性收敛性依然可观测，证实了其鲁棒性。