[论文解读] Unconstrained optimisation on Riemannian manifolds

Tuyen Trung Truong|arXiv (Cornell University)|Aug 25, 2020

Stochastic Gradient Optimization Techniques参考文献 23被引用 4

一句话总结

该论文利用Nash嵌入定理和局部重投影，将回溯梯度下降法与新Q-牛顿法推广至黎曼流形，证明了在随机超参数下几乎必然收敛至局部极小值或发散至无穷远。对于具有紧致子水平集的C³莫尔斯函数，收敛至非退化极小值的速率为二次收敛；在特定群结构假设下，鞍点可被全局避免。

ABSTRACT

In this paper, we give explicit descriptions of versions of (Local-) Backtracking Gradient Descent and New Q-Newton's method to the Riemannian setting.Here are some easy to state consequences of results in this paper, where X is a general Riemannian manifold of finite dimension and $f:X ightarrow \mathbb{R}$ a $C^2$ function which is Morse (that is, all its critical points are non-degenerate). {\bf Theorem.} For random choices of the hyperparameters in the Riemanian Local Backtracking Gradient Descent algorithm and for random choices of the initial point $x_0$, the sequence $\{x_n\}$ constructed by the algorithm either (i) converges to a local minimum of $f$ or (ii) eventually leaves every compact subsets of $X$ (in other words, diverges to infinity on $X$). If $f$ has compact sublevels, then only the former alternative happens. The convergence rate is the same as in the classical paper by Armijo. {\bf Theorem.} Assume that $f$ is $C^3$. For random choices of the hyperparametes in the Riemannian New Q-Newton's method, if the sequence constructed by the algorithm converges, then the limit is a critical point of $f$. We have a local Stable-Center manifold theorem, near saddle points of $f$, for the dynamical system associated to the algorithm. If the limit point is a non-degenerate minimum point, then the rate of convergence is quadratic. If moreover $X$ is an open subset of a Lie group and the initial point $x_0$ is chosen randomly, then we can globally avoid saddle points. As an application, we propose a general method using Riemannian Backtracking GD to find minimum of a function on a bounded ball in a Euclidean space, and do explicit calculations for calculating the smallest eigenvalue of a symmetric square matrix.

研究动机与目标

• 将回溯梯度下降法与新Q-牛顿法在欧氏空间与巴拿赫空间中的收敛性与鞍点避免结果，推广至一般有限维黎曼流形。
• 仅基于局部几何与函数信息，为流形上的迭代优化建立理论保证。
• 展示黎曼优化在约束问题与奇异代价函数中的实际优势，包括特征值计算等应用。
• 为在紧致黎曼子流形（如球面）上求解约束优化问题，提供一个通用框架。

提出的方法

• 利用黎曼重投影与向量传输，将局部回溯梯度下降法与新Q-牛顿法适配至黎曼流形。
• 应用Nash嵌入定理，将黎曼流形等距嵌入欧氏空间，从而将欧氏设定下的收敛结果迁移至流形。
• 采用良好的局部重投影，确保优化动力学在流形上的局部一致性与稳定性。
• 使用随机超参数与初始点，在较弱正则性条件下实现几乎必然收敛性质。
• 提出一种黎曼版本的新Q-牛顿法，并在鞍点附近建立稳定-中心流形定理。
• 将该框架应用于约束问题，如在单位球面上最小化函数，对二次型与特征值问题给出显式计算。

实验结果

研究问题

• RQ1 回溯GD与新Q-牛顿法的收敛性与鞍点避免特性能否推广至黎曼流形？
• RQ2 在一般黎曼流形上，使用随机超参数与初始条件，能否保证全局收敛至非退化极小值并避免鞍点？
• RQ3 当流形为开李群时，黎曼新Q-牛顿法能否在非退化极小值附近实现二次收敛，并避免鞍点？
• RQ4 黎曼优化能否在约束或奇异优化问题中优于标准欧氏方法？
• RQ5 是否存在一种通用且可实现的方法，通过黎曼回溯GD求解紧致黎曼流形上的约束优化问题？

主要发现

• 对于随机超参数与初始点，黎曼局部回溯GD收敛至局部极小值或发散至无穷远；若子水平集紧致，则仅收敛至局部极小值。
• 黎曼局部回溯GD的收敛速率与欧氏设定下Armijo的经典速率一致。
• 对于C³莫尔斯函数，若序列收敛，黎曼新Q-牛顿法收敛至临界点，且在非退化极小值处具有二次收敛速率。
• 为黎曼新Q-牛顿法在鞍点附近建立了局部稳定-中心流形定理，支持动力学的理论分析。
• 当流形为李群的开子集且初始点随机时，黎曼新Q-牛顿法可全局避免鞍点。
• 实验表明，黎曼优化在约束问题与奇异函数上优于标准GD，例如通过在球面上最小化求解对称矩阵的最小特征值。