[论文解读] PL conditions do not guarantee convergence of gradient descent-ascent dynamics

Jean-Christophe Mourrat|arXiv (Cornell University)|Feb 18, 2026

Stochastic processes and financial applications被引用 0

一句话总结

本文构建了在紧致定义域上满足两边 Polyak-Łojasiewicz 条件的平滑函数，但其梯度下降-上升流却是周期性的，证明两边 PL 条件并不保证全局收敛到鞍点。它也在同样条件下显示了局部收敛。

ABSTRACT

We give an example of a function satisfying a two-sided Polyak-Lojasiewicz condition but for which a gradient descent-ascent flow line fails to converge to the saddle point, circling around it instead.

研究动机与目标

• 促使理解在鞍点问题中基于 PL 型条件的收敛性
• 在紧致定义域上构造一个具有两边 PL 属性的 C^∞ 函数，诱导周期性的 GDA（梯度下降-上升）轨迹
• 区分两边 PL 条件下的局部收敛与全局收敛
• 提供辅助结论，澄清在低维下 PL 是否意味着 GDA 的局部收敛

提出的方法

• 在 [-1,1]^2 上定义并分析一个在原点具有唯一临界点的两变量函数 f
• 通过 I^2 的 PL 判据和局部 Hessian 约束来证明 f 满足两边 PL 条件
• 通过将等高线规定为精心设计的向量场 v 的流线来构造 f，确保 PL 属性
• 通过在轨迹上引入守恒量，证明 GDA 动力学在远离原点时保持周期性
• 利用线性化和 GDA 向量场雅可比矩阵的稳定性，在原点附近证明局部收敛

Figure 1. The flow lines with a color scale from dark blue to yellow are the level lines of the function $f$ we build for Theorem 1.1 (the color scale indicates the magnitude of $\mathbf{v}$ ). The value of $f$ is not shown and is prescribed along the two orange lines according to ( 3.2 ). These two

实验结果

研究问题

• RQ1 两边 Polyak-Łojasiewicz 条件是否确保 GDA 动力学全局收敛到鞍点？
• RQ2 是否存在同时满足两边 PL 的函数，但仍产生非收敛（周期性）的 GDA 轨迹？
• RQ3 在何种条件下 PL 能在低维下对 GDA 意味着局部收敛？

主要发现

• 存在一个在 [-1,1]^2 上具有唯一临界点为原点的 C^∞ 函数 f，满足对所有 (x,y) 属于 [-1,1]^2 有 f(x,y)-inf_x f(x,y) <= C|∂_x f|^2 且 sup_y' f(x,y')-f(x,y) <= C|∂_y f|^2；
• 该函数的梯度下降-上升流对一组初始条件是周期性的，尽管具有两边 PL 属性；
• 在原点邻域，GDA 流趋于鞍点，揭示在两边 PL 下局部和全局行为之间的不一致性；
• 在远离原点处，构造出一个积分量（旋转 π/8 后的 L^4-范数），它阻碍了某些轨迹的收敛；
• 论文给出一般准则（命题 2.1 和 2.2），基于零梯度点处 Hessian 的符号，阐明在 I^2 上一个函数何时满足两边 PL 条件；
• 命题 1.2 证实在 2D 中对初始点落在一个小球内的情况，在两边 PL 条件下存在局部收敛。