[论文解读] On the Asymptotic Superlinear Convergence of the Augmented Lagrangian Method for Semidefinite Programming with Multiple Solutions

Ying Cui, Defeng Sun+1 more|arXiv (Cornell University)|Oct 4, 2016

Advanced Optimization Algorithms Research参考文献 36被引用 22

一句话总结

该论文在原始问题存在多个解或无界的情况下，建立了凸半定规划（SDP）的增广拉格朗日法（ALM）的渐近超线性收敛性。在温和的二阶增长条件下，原始迭代序列Q-超线性收敛，对偶不可行性和对偶目标值R-超线性收敛，解释了SDPNAL、SDPNAL+和QSDPNAL等求解器的高效率。

ABSTRACT

Solving large scale convex semidefinite programming (SDP) problems has long been a challenging task numerically. Fortunately, several powerful solvers including SDPNAL, SDPNAL+ and QSDPNAL have recently been developed to solve linear and convex quadratic SDP problems to high accuracy successfully. These solvers are based on the augmented Lagrangian method (ALM) applied to the dual problems with the subproblems being solved by semismooth Newton-CG methods. Noticeably, thanks to Rockafellar's general theory on the proximal point algorithms, the primal iteration sequence generated by the ALM enjoys an asymptotic Q-superlinear convergence rate under a second order sufficient condition {for the primal problem}. This second order sufficient condition implies that the primal problem has a unique solution, which can be restrictive in many applications. For gaining more insightful interpretations on the high efficiency of these solvers, in this paper we conduct an asymptotic superlinear convergence analysis of the ALM for convex SDP when the primal problem has multiple solutions (can be unbounded). Under a fairly mild second order growth condition, we prove that the primal iteration sequence generated by the ALM converges asymptotically Q-superlinearly, while the dual feasibility and the dual objective function value converge asymptotically R-superlinearly. Moreover, by studying the metric subregularity of the Karush-Kuhn-Tucker solution mapping, we also provide sufficient conditions to guarantee the asymptotic R-superlinear convergence of the dual iterate.

研究动机与目标

• 为了在原始解不唯一的情况下，解释基于ALM的SDP求解器（如SDPNAL、SDPNAL+和QSDPNAL）在实践中表现出的高效率。
• 为了将增广拉格朗日法的理论收敛分析从经典设定中唯一最优解的情形推广至更一般的情形。
• 为了在弱于严格二阶充分条件的二阶增长条件下，建立原始和对偶迭代序列的超线性收敛速率。
• 为了刻画Karush-Kuhn-Tucker（KKT）解映射的度量次正则性，以确保对偶迭代序列的R-超线性收敛。
• 为了为ALM中的内层子问题提供可实施的停止准则，使得收敛速率得以保持，而无需精确求解子问题。

提出的方法

• 将Rockafellar的邻近点理论应用于对偶问题，利用增广拉格朗日框架生成原始和对偶迭代序列。
• 引入二阶增长条件作为标准二阶充分条件的替代，使得在存在多个解时仍可进行收敛性分析。
• 使用半光滑牛顿-CG方法近似求解ALM中的对偶子问题，并通过一种新型可实施的准则控制误差。
• 通过分析KKT映射的度量次正则性来建立收敛速率，将其与对偶迭代序列的超线性收敛性联系起来。
• 利用原始迭代序列和对偶不可行性构造误差界，推导出可实施的内层迭代停止准则，确保在不需精确求解子问题的情况下仍保持收敛性。
• 用关于最优值函数在解集附近增长的较弱条件，替代经典设定中对唯一原始解的假设。

实验结果

研究问题

• RQ1 当原始问题存在多个解时，增广拉格朗日法能否在凸SDP中实现超线性收敛？
• RQ2 缺乏唯一解是否会导致基于ALM的SDP求解器（如SDPNAL）无法实现超线性收敛？
• RQ3 相较于二阶充分条件，哪些更弱的条件仍能保证SDP中ALM的超线性收敛？
• RQ4 如何刻画KKT映射的度量次正则性，以确保对偶迭代序列的R-超线性收敛？
• RQ5 能否为内层子问题推导出可实施的停止准则，使得外层ALM迭代序列的渐近超线性收敛性得以保持？

主要发现

• 在二阶增长条件下，即使原始解不唯一，ALM生成的原始迭代序列仍实现Q-超线性收敛。
• 对偶不可行性和对偶目标函数值实现R-超线性收敛，这解释了实际求解器中观察到的快速收敛现象。
• 若KKT映射是度量次正则的，则对偶迭代序列实现R-超线性收敛，而该条件在二阶增长条件下成立。
• 提出了一种新的可实施的内层子问题停止准则，确保外层ALM在不需精确解的情况下仍保持超线性收敛。
• 收敛结果对原始解不唯一的情况具有鲁棒性，并可推广至无界问题。
• 理论框架解释了SDPNAL、SDPNAL+和QSDPNAL在求解大规模线性和凸二次SDP问题时表现出的高数值性能。