[论文解读] Sequential Convex Programming Methods for A Class of Structured Nonlinear Programming

Zhaosong Lu|arXiv (Cornell University)|Oct 10, 2012

Advanced Optimization Algorithms Research参考文献 23被引用 17

一句话总结

本文提出了一类用于广泛结构化非线性规划（SNLP）问题的序列凸规划（SCP）方法，其中每次迭代通过一阶方法求解一个凸子问题。在适当假设下，该方法全局收敛至KKT点，且通过使用局部Lipschitz常数，证明了单调与非单调变体的收敛性。

ABSTRACT

In this paper we study a broad class of structured nonlinear programming (SNLP) problems. In particular, we first establish the first-order optimality conditions for them. Then we propose sequential convex programming (SCP) methods for solving them in which each iteration is obtained by solving a convex programming problem. Under some suitable assumptions, we establish that any accumulation point of the sequence generated by the methods is a KKT point of the SNLP problems. In addition, we propose a variant of the SCP method for SNLP in which nonmonotone scheme and ``local'' Lipschitz constants of the associated functions are used. A similar convergence result as mentioned above is established.

研究动机与目标

• 为一类包含非光滑与非凸分量的结构化非线性规划（SNLP）问题，开发系统化的求解方法。
• 在梯度Lipschitz连续性假设下，建立SNLP问题的一阶最优性条件。
• 设计一种序列凸规划（SCP）方法，通过每次迭代求解凸子问题来逼近原始SNLP问题的解。
• 在适当假设下，证明SCP方法全局收敛至原始SNLP问题的KKT点，包括使用非单调线搜索和局部Lipschitz常数。
• 将收敛性理论扩展至采用非单调策略和局部自适应参数的变体，以提升方法的鲁棒性。

提出的方法

• 该方法通过迭代最小化基于梯度信息和局部Lipschitz常数构造的原始问题的凸近似来求解SNLP问题。
• 在每次迭代中，通过使用一阶泰勒展开近似平滑分量，并保留凸分量，形成一个凸子问题。
• 算法采用非单调线搜索策略，以提高收敛鲁棒性并避免停滞。
• 利用平滑函数梯度的局部Lipschitz常数来构造凸子问题，从而提升方法的自适应性与收敛性。
• 通过一个增广函数（merit function）和具有一致连续性的水平集分析收敛性，确保迭代序列收敛至KKT点。
• 该方法被应用于稀疏优化问题，包括 $l_1$、SCAD、$l_q$、log 和截断-$l_1$ 惩罚，这些均可作为SNLP框架的特例进行重构。

实验结果

研究问题

• RQ1 能否为包含非光滑与非凸分量的广泛结构化非线性规划问题，开发一种序列凸规划方法？
• RQ2 何种一阶最优性条件可刻画此类结构化非线性规划问题的KKT点？
• RQ3 在何种条件下，SCP方法能全局收敛至原始SNLP问题的KKT点？
• RQ4 非单调线搜索与局部Lipschitz常数如何改善SCP在SNLP中的收敛行为？
• RQ5 所提出的方法能否被应用于并有效求解具有非凸稀疏性诱导惩罚的稀疏优化问题？

主要发现

• 在标准假设下，包括梯度的Lipschitz连续性，SCP方法生成序列的任意聚点均为原始SNLP问题的KKT点。
• 即使采用非单调线搜索策略，该收敛结果依然成立，从而增强了方法的鲁棒性与收敛行为。
• 在子问题构造中使用局部Lipschitz常数，可提升方法的自适应性与收敛特性。
• 该方法适用于广泛的稀疏优化问题，包括 $l_1$、SCAD、$l_q$、log 和截断-$l_1$ 惩罚问题，这些均可作为SNLP框架的特例。
• 收敛性分析依赖于增广函数在水平集上的统一连续性，以及通过平滑项的凸化来近似原始问题的子问题。
• 该方法在不依赖强凸性或精确线搜索的条件下实现全局收敛，仅依赖一阶信息与凸子问题的解。