[论文解读] On the behavior of Lagrange multipliers in convex and non-convex infeasible interior point methods

Gabriel Haeser, Oliver Hinder+1 more|arXiv (Cornell University)|Jul 23, 2017

Advanced Optimization Algorithms Research参考文献 38被引用 7

一句话总结

本文分析了在凸与非凸优化问题中，不可行内点法（IPMs）里拉格朗日乘子的行为。证明了若原始不可行性的减少速率与障碍参数 μ 保持一致，则在存在 KKT 点的前提下，对偶乘子有界且满足严格互补性。该见解解释了 IPOPT 中的实际问题，并验证了 Hinder 和 Ye 的单阶段 IPM 方法。

ABSTRACT

We analyze sequences generated by interior point methods (IPMs) in convex and nonconvex settings. We prove that moving the primal feasibility at the same rate as the barrier parameter $μ$ ensures the Lagrange multiplier sequence remains bounded, provided the limit point of the primal sequence has a Lagrange multiplier. This result does not require constraint qualifications. We also guarantee the IPM finds a solution satisfying strict complementarity if one exists. On the other hand, if the primal feasibility is reduced too slowly, then the algorithm converges to a point of minimal complementarity; if the primal feasibility is reduced too quickly and the set of Lagrange multipliers is unbounded, then the norm of the Lagrange multiplier tends to infinity. Our theory has important implications for the design of IPMs. Specifically, we show that IPOPT, an algorithm that does not carefully control primal feasibility has practical issues with the dual multipliers values growing to unnecessarily large values. Conversely, the one-phase IPM of \citet*{hinder2018one}, an algorithm that controls primal feasibility as our theory suggests, has no such issue.

研究动机与目标

• 理解不可行内点法（IPMs）在凸与非凸优化问题中的拉格朗日乘子行为。
• 识别在对偶乘子迭代过程中保持有界的条件，特别是在 MFCQ 等约束资格条件失效时。
• 解释 IPOPT 等求解器中对偶乘子过度增长的实际问题。
• 证明控制原始不可行性相对于障碍参数 μ 的减少速率，对稳定对偶迭代至关重要。
• 表明 Hinder 和 Ye 的单阶段 IPM 通过使不可行性与 μ 的减少速率对齐，避免了这些问题。

提出的方法

• 分析以对数障碍问题形式生成的 IPMs 序列，其中包含松弛变量 s ≥ 0 和不可行性方程 a(x) + s = 0。
• 建立理论条件，确保对偶乘子序列有界，依赖于原始不可行性减少速率与障碍参数 μ 的匹配。
• 采用中心路径框架，研究收敛至 KKT 点的过程，无需依赖约束资格条件。
• 将理论应用于证明：若原始不可行性以与 μ 相同的速率减少，则对偶乘子保持有界且实现严格互补性。
• 将理论预测与 IPOPT 和测试问题（包括 NETLIB 和供水管网问题）的单阶段 IPM 的数值结果进行比较。
• 通过数值实验验证理论发现，测量迭代过程中最大对偶范数与严格互补性。

实验结果

研究问题

• RQ1 在非凸问题的不可行 IPMs 中，拉格朗日乘子在何种条件下保持有界？
• RQ2 相对于障碍参数 μ，以不同速率减少原始不可行性，对对偶乘子行为有何影响？
• RQ3 在非凸问题中，使用不可行 IPMs 是否可实现严格互补性？在何种条件下？
• RQ4 为何 IPOPT 等求解器在实际中表现出对偶乘子无界增长？如何避免此问题？
• RQ5 与标准实现相比，Hinder 和 Ye 的单阶段 IPM 如何避免对偶乘子爆炸？

主要发现

• 当原始不可行性以与障碍参数 μ 相同的速率减少时，若存在 KKT 点，则拉格朗日乘子序列保持有界。
• 若存在此类解，算法收敛至满足严格互补性的解，即使在非凸环境下亦成立。
• 若原始不可行性减少过慢，算法收敛至最小互补性点，导致对偶乘子无界。
• 若原始不可行性减少过快且拉格朗日乘子集合无界，则对偶乘子范数趋于无穷大。
• 数值结果表明，IPOPT 在某些问题上对偶乘子值增长至高达 6.6×10⁹，表明存在不稳定性。
• Hinder 和 Ye 的单阶段 IPM 维持了有界的对偶乘子（最大 ∞-范数 ≈ 1.7），避免了 IPOPT 中出现的问题，验证了理论框架。