[论文解读] Primal-dual dynamical systems with closed-loop control for convex optimization in continuous and discrete time

Huan Zhang, Xiangkai Sun+2 more|arXiv (Cornell University)|Feb 18, 2026

Optimization and Variational Analysis被引用 0

一句话总结

该论文设计了一个带闭环阻尼的二阶原始 primal + 一阶对偶连续时间动力学系统，用以解决带线性等式约束的凸优化，并推导出其离散加速原始-对偶算法，带自适应步长与收敛性保证。

ABSTRACT

This paper develops a primal-dual dynamical system where the coefficients are designed in closed-loop way for solving a convex optimization problem with linear equality constraints. We first introduce a ``second-order primal" + ``first-order dual'' continuous-time dynamical system, in which both the time scaling and Hessian-driven damping are governed by a feedback control of the gradient for the Lagrangian function. This system achieves the fast convergence rates for the primal-dual gap, the feasibility violation, and the objective residual along its trajectory. Subsequently, by time discretization of this system, we develop an accelerated primal-dual algorithm with a gradient-defined adaptive step size. We also obtain convergence rates for the primal-dual gap, the feasibility violation, and the objective residual. Furthermore, we provide numerical results to demonstrate the practical efficacy and superior performance of the proposed algorithm.

研究动机与目标

• 通过自控、基于Hessian的动力学来解决带线性等式约束的凸优化问题的动机。
• 引入一个由Lagrangian梯度控制的带闭环阻尼的二阶原始和一阶对偶连续时间系统。
• 在连续时间轨迹上建立原始-对偶间隙、可行性与目标残差的迅速收敛速率。
• 离散化系统以获得带梯度定义自适应步长的加速原始-对偶算法。
• 提供数值实验，展示所提方法的实用性能优越性。

提出的方法

• 建立一个带二阶原始和一阶对偶分量的连续时间动力系统，其中阻尼和时间缩放由拉格朗日函数梯度的反馈控制实现。
• 通过tau(t)函数和基于梯度的反馈实现Hessian驱动的阻尼和时间缩放，以实现快速收敛。
• 证明轨迹上的原始-对偶间隙、可行性违背和目标残差的收敛速率（例如 L(x(t),λ*)−L(x*,λ*) = O(1/t^{(2qp−p+1)/2}）。
• 离散化该连续系统以导出带梯度定义自适应步长的加速自控原始-对偶算法。
• 展示特殊情形（如 q=1，q=2）可回收已知结果并在闭环控制下突出改进的速率。
• 提供数值实验，将所提方法与前沿方法进行比较，说明实际性能提升。

实验结果

研究问题

• RQ1 带有基于Hessian的阻尼与闭环控制的原始-对偶动力学系统，能否在连续时间中高效地求解带线性等式约束的凸问题？
• RQ2 对于所提的连续时间系统，在原始-对偶间隙、可行性和目标残差方面能够达到何种收敛速率？
• RQ3 离散化如何产生带自适应步长的加速自控原始-对偶算法，它能够达到何种速率？
• RQ4 系统的特殊情形是否能回收现有结果并在收敛行为上提供改进？

主要发现

• 连续时间系统在轨迹上实现了原始-对偶间隙、可行性违背和目标残差的快速收敛。
• 离散化得到带梯度定义的自适应步长的加速原始-对偶算法。
• 在合适条件下，离散情形下原始-对偶间隙、可行性和目标残差的速率达到 O(1/k^{(3p−1)/(2p)})。
• 数值结果表明相比竞争方法具有更好的实际性能和更高的精度。
• 分析将闭环控制方法推广到带约束的凸优化原始-对偶动力学。
• 特殊情形回收已知速率，如在特定参数选择下达到 o(1/t^{p+1/2}) 和 O(1/t) 的速率。