[论文解读] Sequential Quadratic Optimization for Nonlinear Equality Constrained Stochastic Optimization

Albert S. Berahas, Frank E. Curtis+2 more|arXiv (Cornell University)|Jul 20, 2020

Advanced Optimization Algorithms Research参考文献 34被引用 6

一句话总结

本文提出一种用于非线性等式约束随机优化的序列二次规划（SQP）算法，其中约束为确定性，但目标函数为随机的（即仅能获得无偏梯度估计）。该方法用基于利普希茨常数或其自适应估计的步长策略替代传统线搜索，在较弱假设下实现期望收敛，并在数值实验中优于基于惩罚的随机次梯度方法。

ABSTRACT

Sequential quadratic optimization algorithms are proposed for solving smooth nonlinear optimization problems with equality constraints. The main focus is an algorithm proposed for the case when the constraint functions are deterministic, and constraint function and derivative values can be computed explicitly, but the objective function is stochastic. It is assumed in this setting that it is intractable to compute objective function and derivative values explicitly, although one can compute stochastic function and gradient estimates. As a starting point for this stochastic setting, an algorithm is proposed for the deterministic setting that is modeled after a state-of-the-art line-search SQP algorithm, but uses a stepsize selection scheme based on Lipschitz constants (or adaptively estimated Lipschitz constants) in place of the line search. This sets the stage for the proposed algorithm for the stochastic setting, for which it is assumed that line searches would be intractable. Under reasonable assumptions, convergence (resp.,~convergence in expectation) from remote starting points is proved for the proposed deterministic (resp.,~stochastic) algorithm. The results of numerical experiments demonstrate the practical performance of our proposed techniques.

研究动机与目标

• 为解决在具有确定性等式约束的随机非线性优化中缺乏高效、基于SQP的方法的问题。
• 开发一种使用基于利普希茨常数的步长选择而非线搜索的确定性SQP算法，确保其收敛性保证与最先进方法相当。
• 将该框架扩展至仅能获得目标函数噪声梯度估计的随机设置。
• 在合理假设下，证明所提随机算法在期望下的收敛性，包括对增广目标函数参数行为不良的鲁棒性。
• 通过数值实验表明，所提方法在可行性与最优性方面优于基于惩罚的随机次梯度方法。

提出的方法

• 确定性算法使用拟牛顿Hessian近似，并通过二次子问题计算搜索方向，步长基于梯度利普希茨常数的估计选择。
• 采用具有自适应惩罚参数的增广目标函数以平衡目标函数下降与约束违反，同时设置保护机制以防止行为不良。
• 在随机设置中，算法使用目标函数的随机梯度估计，并应用相同的基于利普希茨常数的步长策略，避免难以实现的线搜索。
• 该方法采用带有自适应参数 τk 和 ξk 的随机逼近框架，以控制步长和增广目标函数之间的平衡。
• 收敛性分析基于若干假设，包括在凸邻域内梯度和约束函数有界，当 θ=0 时该有界性假设可被放宽。
• 算法通过利普希茨估计实现类似信赖域的机制，确保增广目标函数的充分下降，而无需显式线搜索。

实验结果

研究问题

• RQ1 在确定性设置下，是否可以实现一种无需线搜索、基于利普希茨常数步长选择的SQP方法，其收敛性保证与最先进线搜索SQP方法相当？
• RQ2 在标准假设下，使用利普希茨估计和随机梯度的随机SQP算法是否在期望下收敛？
• RQ3 在随机设置中，该算法对自适应增广目标函数参数行为不良的鲁棒性如何？
• RQ4 所提方法是否在可行性与最优性误差方面优于基于惩罚的随机次梯度方法？
• RQ5 在随机SQP框架中，梯度有界性假设在何种条件下可被放宽？

主要发现

• 基于利普希茨常数步长的确定性SQP算法实现了全局收敛，其理论保证与最先进线搜索SQP方法相当。
• 在标准假设下，随机SQP算法在期望下收敛至驻点，其收敛质量与确定性版本相当。
• 数值实验表明，所提随机SQP方法在可行性与最优性误差方面始终且显著优于应用于精确惩罚函数的随机次梯度方法。
• 在所有实验中，τk ≤ τk^trial 的条件在超过99%的迭代中成立，表明理论假设具有实际相关性。
• 当 θ > 0 时，梯度有界性假设是必需的；但当 θ = 0 时，该假设可被放宽，从而提升鲁棒性。
• 该算法在各种噪声水平（10⁻⁸ 至 10⁻¹）下表现出可靠性能，且收敛行为一致。