[论文解读] Theory of functional connections applied to nonlinear programming under equality constraints

Tina Mai, Daniele Mortari|arXiv (Cornell University)|Oct 11, 2019

Advanced Optimization Algorithms Research参考文献 20被引用 8

一句话总结

本文提出了一种基于函数连接理论（TFC）的新型闭式解法，用于求解带有等式约束的二次规划与非线性规划问题，避免了传统拉格朗日乘子法。通过使用自由向量 𝐠 参数化可行解，该方法利用牛顿法结合二阶泰勒近似实现高效优化，相较于 MATLAB 的 quadprog，在速度和精度方面表现更优。

ABSTRACT

This paper introduces an efficient approach to solve quadratic programming problems subject to equality constraints via the Theory of Functional Connections. This is done without using the traditional Lagrange multipliers approach, and the solution is provided in closed-form. Two distinct constrained expressions (satisfying the equality constraints) are introduced. The unknown vector optimization variable is then the free vector $\B{g}$, introduced by the Theory of Functional Connections, to derive constrained expressions. The solution to the general nonlinear programming problem is obtained by the Newton's method in optimization, and each iteration involves the second-order Taylor approximation, starting from an initial vector $\B{x}^{(0)}$ which is a solution of the equality constraint. To solve the quadratic programming problems, we not only introduce the new approach but also provide a numerical accuracy and speed comparisons with respect to MATLAB's \verbquadprog. To handle the nonlinear programming problem using the Theory of Functional Connections, convergence analysis of the proposed approach is provided.

研究动机与目标

• 开发一种不依赖拉格朗日乘子的、针对等式约束下二次规划问题的直接闭式解法。
• 通过迭代优化将该方法扩展至一般非线性规划问题。
• 与标准求解器（如 MATLAB 的 quadprog）相比，提升计算效率和数值精度。
• 为所提出的基于 TFC 的优化框架提供收敛性分析。

提出的方法

• 引入两种不同的约束表达式，利用函数连接理论（TFC）确保满足给定的等式约束。
• 通过自由向量 𝐠 参数化所有可行解，将约束问题转化为关于 𝐠 的无约束优化问题。
• 应用牛顿法结合二阶泰勒近似，迭代最小化目标函数。
• 每次迭代均从一个已满足等式约束的初始猜测 𝐱⁽⁰⁾ 开始，确保全程保持可行性。
• 利用 TFC 框架将约束直接嵌入函数形式中，避免使用惩罚法或障碍法。
• 与 MATLAB 的 quadprog 进行数值对比，评估在测试问题上的运行速度与精度。

实验结果

研究问题

• RQ1 函数连接理论（TFC）能否在不使用拉格朗日乘子的情况下，为带有等式约束的二次规划问题提供闭式解？
• RQ2 与 MATLAB 的 quadprog 相比，基于 TFC 的方法在求解约束二次规划问题时，在速度和精度方面表现如何？
• RQ3 基于 TFC 的框架能否通过迭代优化有效扩展至一般非线性规划问题？
• RQ4 所提出的基于 TFC 的牛顿法在非线性规划问题中的收敛行为如何？

主要发现

• 所提出的方法通过 TFC 将约束直接嵌入函数形式，实现了带有等式约束的二次规划问题的闭式解。
• 在基准测试中，该方法在计算速度和数值精度方面均优于 MATLAB 的 quadprog。
• 当从一个可行的初始点 𝐱⁽⁰⁾ 开始时，结合二阶泰勒近似的牛顿法可实现快速收敛。
• 基于 TFC 的公式避免了对拉格朗日乘子的需求，简化了优化过程并降低了计算开销。
• 收敛性分析证实了该迭代优化方案在非线性规划问题中的稳定性和有效性。
• 由于 TFC 参数化方式的内在约束特性，该方法在所有迭代过程中均保持可行性。