[论文解读] Sequential Convex Programming Methods for Solving Nonlinear Optimization Problems with DC constraints

Tran Dinh Quoc, Moritz Diehl|arXiv (Cornell University)|Jul 28, 2011

Advanced Optimization Algorithms Research参考文献 20被引用 38

一句话总结

本文提出一种序列凸规划（SCP）算法，用于求解具有DC（凸函数之差）约束的非线性优化问题，通过凸化DC函数中的凹部分实现。该算法证明了全局收敛性，并引入一种基于精确L1-惩罚的松弛技术，以处理不可行的子问题，在MPCC和非凸二次问题的数值测试中，其数值表现优于标准惩罚方法。

ABSTRACT

This paper investigates the relation between sequential convex programming (SCP) as, e.g., defined in [24] and DC (difference of two convex functions) programming. We first present an SCP algorithm for solving nonlinear optimization problems with DC constraints and prove its convergence. Then we combine the proposed algorithm with a relaxation technique to handle inconsistent linearizations. Numerical tests are performed to investigate the behaviour of the class of algorithms.

研究动机与目标

• 将序列凸规划（SCP）与DC规划相联系，通过将SCP表述为DC规划的特例。
• 开发一种SCP算法，保留约束中的DC结构，以实现对非凸问题的局部最小化。
• 通过基于精确L1-惩罚的松弛技术，解决由线性化引起的凸子问题不可行性问题。
• 在非凸二次规划和互补约束数学规划（MPCC）上验证该算法的有效性。
• 表明该方法避免了保守性，无需线搜索或信赖域策略即可实现完整的SCP步骤。

提出的方法

• 该算法通过线性化DC约束中的凹部分，同时保持凸部分不变，迭代求解凸子问题。
• 采用基于精确L1-惩罚函数的松弛技术，以处理不一致的线性化，确保子问题的可行性。
• 通过将互补约束表示为凸函数之差的形式，将MPCC问题重新表述为DC规划。
• 引入一种新的变量变换，将MPCC约束表示为DC约束形式 u(w) - v(w) ≤ 0，其中 u 为强凸函数，v 为凸函数。
• 使用CVX工具包结合Sedumi求解器实现凸子问题的求解。
• 在较弱假设下证明了收敛性，且此前工作（Quoc2009b）已建立其线性局部收敛速率，本文沿用该结果。

实验结果

研究问题

• RQ1 SCP方法能否系统地与DC规划关联，以求解具有DC约束的非凸优化问题？
• RQ2 如何在不牺牲收敛性或引入保守性的情况下，有效缓解因线性化导致的SCP子问题不可行性？
• RQ3 在SCP子问题中使用精确L1-惩罚松弛是否能带来优于标准惩罚型DC规划的数值性能？
• RQ4 所提出的SCP-DC框架能否在MPCC和非凸二次规划问题上实现可靠收敛与高精度？
• RQ5 该算法在基准问题上的可行性、最优性与计算效率表现如何？

主要发现

• 在较弱假设下，所提出的带DC约束的SCP算法可全局收敛至KKT点，该结论基于先前工作并在此处应用。
• 对于问题P7，算法在9次迭代内达到 f* = 64.999，误差为 7×10⁻⁷，可行性间隙为 5×10⁻¹¹，与Facchinei1999的结果高度一致。
• 对于问题P9，算法在多个初始点下经18–19次迭代收敛至 f* ≈ 1.35×10⁻¹¹，误差 ≈ 2×10⁻⁵，可行性间隙 ≈ 1×10⁻¹⁰。
• 对于问题P10，算法在17次迭代内达到 f* = -6600，误差为 3×10⁻⁵，可行性间隙为 3×10⁻⁸，表现出稳健性能。
• 算法1因可行集内部为空而失败，而算法2成功收敛，证明了松弛技术的优势。
• 基于精确L1-惩罚的松弛技术相比标准惩罚型DC规划，使子问题更不保守，显著改善了数值行为。