[论文解读] Some convergent results for Backtracking Gradient Descent method on Banach spaces

Tuyen Trung Truong|arXiv (Cornell University)|Jan 16, 2020

Stochastic Gradient Optimization Techniques参考文献 8被引用 8

一句话总结

本文将Backtracking梯度下降方法的收敛性保证扩展至一致凸的巴拿赫空间，在条件C与$C^2$正则性下，证明该算法在一般情况下可避免鞍点，并弱收敛于临界点。关键结果表明，对于一般初始点与超参数，即使在无限维情形下，收敛也不会发生在鞍点上。

ABSTRACT

Our main result concerns the following condition: {\bf Condition C.} Let $X$ be a Banach space. A $C^1$ function $f:X ightarrow \mathbb{R}$ satisfies Condition C if whenever $\{x_n\}$ weakly converges to $x$ and $\lim _{n ightarrow\infty}|| abla f(x_n)||=0$, then $ abla f(x)=0$. We assume that there is given a canonical isomorphism between $X$ and its dual $X^*$, for example when $X$ is a Hilbert space. {\bf Theorem.} Let $X$ be a reflexive, complete Banach space and $f:X ightarrow \mathbb{R}$ be a $C^2$ function which satisfies Condition C. Moreover, we assume that for every bounded set $S\subset X$, then $\sup _{x\in S}|| abla ^2f(x)||

研究动机与目标

• 将Backtracking梯度下降的收敛性结果从有限维欧氏空间推广至无限维一致凸巴拿赫空间。
• 建立Backtracking GD方法在无限维空间中避免鞍点的条件。
• 在巴拿赫空间中形式化‘一般收敛’（通过害羞集）的概念，替代有限维情形下的勒贝格测度。
• 将Backtracking GD的理论保证扩展至更广泛的无限维空间中的函数类，包括$C^2$函数与凸函数。
• 分析对偶映射在确保非希尔伯特巴拿赫空间中连续且行为良好的更新规则中的作用。

提出的方法

• 引入条件C：若序列$\{x_n\}$弱收敛于$x$，且$||\nabla f(x_n)|| \to 0$，则$\nabla f(x) = 0$，从而确保弱收敛于临界点。
• 应用局部Backtracking GD，自适应步长$\delta(x_n)$从$\{\beta^n \delta_0\}$中选取，满足$\delta < \alpha / L(x)$且$\delta ||\nabla f(x)|| < r(x)$。
• 由于无限维空间中缺乏紧致性，采用弱拓扑收敛，以弱极限点替代强收敛。
• 在巴拿赫空间中应用稳定-中心流形定理分析鞍点避免，依赖于‘害羞性’概念实现一般性。
• 利用归一化对偶映射$J: X^* \to X$定义连续更新规则$x \mapsto x - \delta(x) J(\nabla f(x))$，当$X$为一致凸且可重新赋范为局部一致凸时成立。
• 应用巴拿赫空间中‘害羞集’的概念（见[5]）量化在无限维空间中收敛于非鞍点的一般性，替代有限维情形下的勒贝格测度。

实验结果

研究问题

• RQ1 在较弱正则性条件下，Backtracking梯度下降方法是否可在无限维巴拿赫空间中避免鞍点？
• RQ2 在一致凸巴拿赫空间中，Backtracking GD生成的序列在何种条件下弱收敛于临界点？
• RQ3 在缺乏勒贝格测度的无限维巴拿赫空间中，如何形式化‘一般’收敛的概念？
• RQ4 归一化对偶映射在确保非希尔伯特巴拿赫空间中Backtracking GD的连续且定义良好的更新规则中起什么作用？
• RQ5 Backtracking GD的收敛性与鞍点避免性质能否推广至满足条件C的巴拿赫空间上的$C^2$函数？

主要发现

• 若$f$为$C^2$且满足条件C，则Backtracking GD序列$\{x_n\}$的每个弱极限点均为$f$的临界点。
• 要么$f(x_n) \to -\infty$，要么$||x_{n+1} - x_n|| \to 0$，表明迭代序列要么在函数值上发散，要么步长趋于零。
• 若临界点集$\mathcal{C}$的某个有界连通分支$A$中包含序列$\{x_n\}$的极限点，则所有极限点均位于$A$内，且极限点集为连通集。
• 对于鞍点至多可数的函数，导致收敛于鞍点的初始点$x_0$与超参数$\alpha, \beta, \delta_0$的集合为‘害羞集’，即在巴拿赫空间测度理论意义下为一般情况。
• 当$X$为可分空间时，相同的一般性鞍点避免性质在弱收敛下依然成立，例外集合在巴拿赫空间意义下为‘害羞集’。
• 使用归一化对偶映射可确保在一致凸巴拿赫空间中，更新规则$x \mapsto x - \delta(x) J(\nabla f(x))$为连续且定义良好，从而将理论结果推广至非希尔伯特空间。