[论文解读] Nonlinear Contraction Tools for Constrained Optimization

J. Soto, Slotine, Jean-Jacques E.|arXiv (Cornell University)|Jun 7, 2012

Control and Stability of Dynamical Systems参考文献 5被引用 4

一句话总结

本文提出了一种新颖的框架，通过将非线性收缩理论与约束优化相联系，借助将系统动力学投影到约束切空间中，推广了拉格朗日乘子。该框架为具有等式、不等式及时变约束的系统建立了基于收缩的收敛准则，提供了拉格朗日参数的新物理解释，并提出了一种通过收缩动力学求解最小化问题的构造性算法。

ABSTRACT

This paper describes new results linking constrained optimization theory and nonlinear contraction analysis. Generalizations of Lagrange parameters are derived based on projecting system dynamics on the tangent space of possibly time-varying constraints. The paper formalizes the intuition that, just as convexity rather than linearity is the key property in optimization, contraction rather than linearity is the key dynamical property in this context.

研究动机与目标

• 建立非线性收缩分析与约束优化之间的理论桥梁，突破线性或凸性假设的限制。
• 推导出自然地从约束系统动力学中涌现的广义拉格朗日参数，尤其在时变约束下。
• 开发一种基于动力学的构造性方法，通过收缩系统求解约束最小化问题，特别适用于自主和时变情形。
• 基于微分几何与收缩度量，为拉格朗日乘子提供新的物理解释：确保系统速度沿约束流形的切向分量。
• 将收缩理论扩展至处理不等式约束和时变等式约束，并给出形式化的收敛定理。

提出的方法

• 使用时变、一致正定的度量 Θ(x,t) 进行收缩分析，以确保轨迹指数收敛至唯一解。
• 推导广义雅可比矩阵 F = (Θ̇ + Θ∂f/∂x)Θ⁻¹，并确保其厄米特部分 FH 一致负定，以保证收缩性。
• 通过投影矩阵 P(x) = I - ∇h(∇h∇h′)⁻¹∇h′ 将系统动力学投影到约束的切空间中，以强制满足约束。
• 引入动态惩罚项 s = ½∑cᵢhᵢ²(x)，其中 cᵢ > 0，以驱动系统趋近约束流形，通过巴尔巴拉特定理确保收敛。
• 将拉格朗日参数推广为 λ = -f(x,t)∇h′(∇h∇h′)⁻¹，适用于时变系统，扩展了经典公式。
• 将该框架应用于自主梯度系统 ẋ = -∇U(x)，表明在单位度量下收缩意味着当 ∇²U(x*) 正定时，系统指数收敛至最小值。

实验结果

研究问题

• RQ1 如何将收缩理论扩展至具有等式约束的系统？在何种条件下可确保收敛至唯一轨迹？
• RQ2 在非线性、时变系统中，拉格朗日乘子的动力学解释是什么？它们与约束流形上的切向运动有何关联？
• RQ3 能否设计一个收缩动力系统以求解约束最小化问题，特别是在时变约束下？
• RQ4 广义拉格朗日参数如何从系统动力学投影到约束切空间中自然涌现？
• RQ5 在收缩框架中使用非单位度量对优化中收敛速度的加速有何影响？

主要发现

• 为具有等式约束的非线性系统建立了收缩定理，当广义雅可比矩阵的厄米特部分一致负定时，可确保指数收敛至唯一轨迹。
• 对于自主梯度系统 ẋ = -∇U(x)，在单位度量下收缩意味着当 ∇²U(x*) 正定时，系统指数收敛至最小值。
• 带有动态惩罚项 s = ½∑cᵢhᵢ²(x) 的系统确保当 t → ∞ 时 ∑cᵢhᵢ∇hᵢ → 0，通过巴尔巴拉特定理可推出约束满足。
• 推导出时变拉格朗日参数的新广义形式：λ = -[f(x,t)∇h′ + ∂h/∂t](∇h∇h′)⁻¹，该形式涵盖前述两种情形。
• 本文提出新物理解释：拉格朗日参数确保系统速度沿约束流形的切向，而非法向。
• 该框架可通过将优化问题嵌入收缩动力系统，实现求解时变约束最小化问题的构造性算法。