[论文解读] Optimization Techniques on Riemannian Manifolds

Steven T. Smith|arXiv (Cornell University)|Jul 22, 2014

Statistical and numerical algorithms被引用 13

一句话总结

本文通过将牛顿法和共轭梯度法推广到黎曼流形，引入了黎曼优化技术，分别展示了二次和超线性收敛性。研究证明，在球面上对瑞利商应用牛顿法可实现三次收敛，而瑞利商迭代则是其高效近似，为计算对称矩阵的极值特征值提供了新算法。

ABSTRACT

The techniques and analysis presented in this paper provide new methods to solve optimization problems posed on Riemannian manifolds. A new point of view is offered for the solution of constrained optimization problems. Some classical optimization techniques on Euclidean space are generalized to Riemannian manifolds. Several algorithms are presented and their convergence properties are analyzed employing the Riemannian structure of the manifold. Specifically, two apparently new algorithms, which can be thought of as Newton's method and the conjugate gradient method on Riemannian manifolds, are presented and shown to possess, respectively, quadratic and superlinear convergence. Examples of each method on certain Riemannian manifolds are given with the results of numerical experiments. Rayleigh's quotient defined on the sphere is one example. It is shown that Newton's method applied to this function converges cubically, and that the Rayleigh quotient iteration is an efficient approximation of Newton's method. The Riemannian version of the conjugate gradient method applied to this function gives a new algorithm for finding the eigenvectors corresponding to the extreme eigenvalues of a symmetric matrix. Another example arises from extremizing the function $\mathop{ m tr} Θ^{\scriptscriptstyle m T}QΘN$ on the special orthogonal group. In a similar example, it is shown that Newton's method applied to the sum of the squares of the off-diagonal entries of a symmetric matrix converges cubically.

研究动机与目标

• 开发利用黎曼流形结构的内在优化算法，而非嵌入到欧氏空间中。
• 通过利用其几何与代数结构，解决非欧几里得空间（如球面和李群）上的约束优化问题。
• 将经典优化方法——最速下降法、牛顿法和共轭梯度法——推广到黎曼流形，并证明其收敛速率。
• 为在SO(n)和球面等流形上求解特征值问题和矩阵优化任务，提供高效的数值算法。
• 证明黎曼牛顿法和共轭梯度法在特定问题上相比标准方法具有更快的收敛速度。

提出的方法

• 利用指数映射和协变导数，推导黎曼流形上的牛顿法，证明其收敛速度为二次。
• 通过向量传输和Polak-Ribière型更新，应用黎曼共轭梯度法，实现超线性收敛。
• 利用SO(n)和球面上的自然黎曼度量，通过矩阵指数和三角函数定义测地线和平行移动。
• 在SO(n)上的最速下降法和共轭梯度法中，采用Brockett估计选择步长，提升数值稳定性。
• 利用矩阵代数高效计算对称空间和李群上的测地线和平行移动，避免昂贵的常微分方程求解。
• 提出一种在球面上利用共轭梯度法计算极值特征向量的新算法，并在S^20上实现数值计算。

实验结果

研究问题

• RQ1 黎曼流形上的牛顿法能否实现二次收敛？其在特定问题上是否比标准方法收敛更快？
• RQ2 黎曼共轭梯度法是否表现出超线性收敛？能否有效应用于球面上的特征值问题？
• RQ3 瑞利商迭代是否为球面上牛顿法的实用近似？是否继承了三次收敛速率？
• RQ4 对对称矩阵的非对角元素平方和应用牛顿法，能否产生一个三次收敛的类雅可比算法？
• RQ5 如何利用SO(n)和球面等流形的内在结构，降低优化算法的计算成本？

主要发现

• 在球面上对瑞利商应用牛顿法，收敛速度为三次方，远快于标准的二次收敛速率。
• 证明瑞利商迭代是球面上牛顿法的高效近似，且保持了三次收敛特性。
• 将黎曼共轭梯度法应用于球面上的瑞利商，产生了一种计算对称矩阵极值特征向量的新算法。
• 对于SO(n)上的函数tr(ΘᵀQΘN)，牛顿法收敛速度为三次方，展示了新型三次收敛类雅可比方法。
• 在S^20和SO(20)上的数值实验验证了理论收敛速率，共轭梯度法优于最速下降法。
• 该算法每轮迭代仅需一次矩阵-向量乘法和约10n次浮点运算，对稀疏矩阵具有高效性。