[论文解读] QSDPNAL: A two-phase augmented Lagrangian method for convex quadratic semidefinite programming

Xudong Li, Defeng Sun+1 more|arXiv (Cornell University)|Dec 30, 2015

Advanced Optimization Algorithms Research参考文献 30被引用 21

一句话总结

本文提出 QSDPNAL，一种用于大规模凸二次半定规划（QSDP）的两阶段增广拉格朗日法。第一阶段采用一种一阶方法，结合不精确的舒尔补分解，以达到中等精度或生成良好的初始点；第二阶段在增广拉格朗日框架内采用不精确半光滑牛顿法，实现 KKT 余项的 R-超线性收敛，并在大规模问题上表现出高效率和强鲁棒性。

ABSTRACT

In this paper, we present a two-phase augmented Lagrangian method, called QSDPNAL, for solving convex quadratic semidefinite programming (QSDP) problems with constraints consisting of a large number of linear equality, inequality constraints, a simple convex polyhedral set constraint, and a positive semidefinite cone constraint. A first order algorithm which relies on the inexact Schur complement based decomposition technique is developed in QSDPNAL-Phase I with the aim of solving a QSDP problem to moderate accuracy or using it to generate a reasonably good initial point for the second phase. In QSDPNAL-Phase II, we design an augmented Lagrangian method (ALM) where the inner subproblem in each iteration is solved via inexact semismooth Newton based algorithms. Simple and implementable stopping criteria are designed for the ALM. Moreover, under mild conditions, we are able to establish the rate of convergence of the proposed algorithm and prove the R-(super)linear convergence of the KKT residual. In the implementation of QSDPNAL, we also develop efficient techniques for solving large scale linear systems of equations under certain subspace constraints. More specifically, simpler and yet better conditioned linear systems are carefully designed to replace the original linear systems and novel shadow sequences are constructed to alleviate the numerical difficulties brought about by the crucial subspace constraints. Extensive numerical results for various large scale QSDPs show that our two-phase algorithm is highly efficient and robust in obtaining accurate solutions.

研究动机与目标

• 解决大规模凸二次半定规划（QSDP）问题中缺乏高效求解器的问题，尤其针对高维约束的情形。
• 克服现有内点法在病态条件和高每轮计算成本方面的数值与计算局限。
• 开发一种可扩展且鲁棒的算法，能够处理在无法显式存储算子 Q 的情况下仍可求解的大规模 QSDP 问题。
• 设计一种两阶段框架，结合一阶与二阶方法，以在效率与精度之间取得平衡。
• 在较弱条件下建立 KKT 余项的全局收敛性与局部 R-超线性收敛性，并设计可实施的停止准则。

提出的方法

• 提出一种两阶段增广拉格朗日法：QSDPNAL-Phase I 使用基于不精确舒尔补分解的一阶算法，以中等精度求解对偶问题。
• 在 QSDPNAL-Phase II 中，采用增广拉格朗日法，其中内部子问题通过不精确半光滑牛顿法求解，利用二阶信息实现快速局部收敛。
• 通过在子空间约束下替换原系统，设计条件数更优的新线性系统，提升数值稳定性。
• 构造新颖的影子序列，以缓解子空间约束下线性系统中产生的数值困难。
• 为子空间约束下的大规模线性系统实现高效的迭代求解器，避免显式存储算子 Q。
• 集成简单且可实施的增广拉格朗日方案停止准则，确保实际收敛性监控。

实验结果

研究问题

• RQ1 两阶段增广拉格朗日法是否能有效求解大规模凸 QSDP 问题，而标准内点法因病态条件而失效？
• RQ2 如何在单一框架中结合一阶与二阶方法，以实现全局收敛与快速局部收敛？
• RQ3 可开发哪些数值技术，以在不显式构造完整算子 Q 的前提下，高效求解大规模子空间约束下的线性系统？
• RQ4 能否为增广拉格朗日法设计可实施的停止准则，以确保收敛性且不带来过高的计算成本？
• RQ5 所提算法中 KKT 余项的收敛速率如何？在何种条件下可实现超线性收敛？

主要发现

• 在较弱条件下，QSDPNAL 实现了 KKT 余项的 R-超线性收敛，表现出 Phase II 中的快速局部收敛。
• 该算法效率高且鲁棒性强，可在 17 小时内求解含最多 2003 个变量和超过 50,000 个约束的大规模 QSDP 问题。
• 对于适定问题，QSDPNAL-Phase I 单独通常已足够，即使在大规模实例下，也能在 30 分钟内达到中等精度。
• 在病态或困难问题上，Phase II 显著优于 Phase I，对于高精度解，求解时间可达 16.5 小时。
• 采用更智能、更良态的线性系统与影子序列，可降低数值误差并提升求解器稳定性。
• 数值结果表明，QSDPNAL 在基准问题上（包括传感器网络定位与 SDP 松弛）始终将可行性与最优性间隙控制在 1e-6 以下。