[论文解读] Transform the Non-linear Programming Problem to the Initial-value Problem to Solve

Sheng Zhang, Fei Liao+2 more|arXiv (Cornell University)|Apr 25, 2018

Spacecraft Dynamics and Control参考文献 34被引用 3

一句话总结

本文提出一种动态优化方法，通过一种新颖的动态优化方程（DOE），将带有等式与不等式约束的非线性规划问题转化为初值问题（IVP）。该方法结合李雅普诺夫稳定性理论与矩阵广义逆，确保在无需约束线性无关性假设的前提下实现全局收敛至最优解，从而可借助标准常微分方程求解器实现高效数值求解，并具备理论保证。

ABSTRACT

A dynamic method to solve the Non-linear Programming (NLP) problem with Equality Constraints (ECs) and Inequality Constraints (IECs) is proposed. Inspired by the Lyapunov continuous-time dynamics stability theory in the control field, the optimal solution is analogized to the stable equilibrium point of a finite-dimensional dynamic system and it is solved in an asymptotic manner. Under the premise that the Karush-Kuhn-Tucker (KKT) optimality condition exists, the Dynamic Optimization Equation (DOE), which has the same dimension to that of the optimization parameter vector, is established and its solution will converge to the optimal solution of the NLP globally with a theoretical guarantee. Using the matrix pseudo-inverse, the DOE is valid even without the linearly independent regularity requirement on the nonlinear constraints. In addition, the analytic expressions of the Lagrange multipliers and KKT multipliers, which adjoin the ECs and the IECs respectively during the entire optimization process, are also derived. Via the proposed method, the NLP may be transformed to the Initial-value Problem (IVP) to be solved, with mature Ordinary Differential Equation (ODE) integration methods. Illustrative examples are solved and it is shown that the dynamic method developed may produce the right numerical solutions with high efficiency.

研究动机与目标

• 开发一种动态方法，将带约束的非线性规划问题重新表述为初值问题以实现数值求解。
• 在满足Karush-Kuhn-Tucker（KKT）最优性条件的前提下，确保全局收敛至最优解。
• 通过在公式中引入矩阵广义逆，消除对非线性约束线性无关性的需求。
• 在整个优化过程中推导拉格朗日乘子与KKT乘子的解析表达式。
• 利用成熟的常微分方程积分技术实现高效率求解。

提出的方法

• 构建与参数向量维度相同的动态优化方程（DOE），确保解渐近收敛至最优解。
• 应用李雅普诺夫连续时间动力学稳定性理论，将最优解建模为有限维系统的稳定平衡点。
• 利用矩阵广义逆处理非正则约束系统，避免对线性无关性的假设。
• 在整个优化轨迹中，推导与等式约束相关的拉格朗日乘子以及与不等式约束相关的KKT乘子的解析表达式。
• 将原始非线性规划问题转化为可通过标准常微分方程积分方法求解的初值问题（IVP）。
• 采用DOE的数值积分计算最优解，并具备理论收敛保证。

实验结果

研究问题

• RQ1 带有等式与不等式约束的非线性规划问题能否被重新表述为初值问题以实现数值求解？
• RQ2 在不依赖约束线性无关性假设的前提下，如何保证对最优解的全局收敛？
• RQ3 动态优化方程（DOE）在确保向最优解渐近稳定方面发挥何种作用？
• RQ4 在整个优化过程中，如何对拉格朗日乘子与KKT乘子进行解析追踪？
• RQ5 与传统非线性规划求解器相比，该方法在计算效率方面提升了多少？

主要发现

• 所提方法在满足KKT最优性条件的前提下，保证了非线性规划问题最优解的全局收敛。
• 动态优化方程（DOE）通过李雅普诺夫稳定性分析，确保了向最优解的渐近收敛。
• 采用矩阵广义逆使该方法在约束非线性无关时仍保持有效性。
• 在整个优化过程中，推导并保持了拉格朗日乘子与KKT乘子的解析表达式。
• 通过实例验证表明，该方法利用标准常微分方程求解器可高效生成高精度的数值解。
• 将问题转化为初值问题，使得可应用成熟且鲁棒的常微分方程积分技术来求解复杂的非线性规划问题。