[论文解读] Practical Accelerated Optimization on Riemannian Manifolds

Foivos Alimisis, Antonio Orvieto+2 more|arXiv (Cornell University)|Feb 11, 2020

Morphological variations and asymmetry被引用 8

一句话总结

本文提出了一种新型的黎曼下降算法，可在黎曼流形上实现测地凸函数和弱拟凸函数的加速收敛。通过采用一种新颖的估计序列，该方法建立了依赖于流形曲率的收敛速率，且在球面和正定矩阵上通过实验得到验证。

ABSTRACT

We develop a new Riemannian descent algorithm with an accelerated rate of convergence. We focus on functions that are geodesically convex or weakly-quasi-convex, which are weaker function classes compared to prior work that has considered geodesically strongly convex functions. Our proof of convergence relies on a novel estimate sequence which allows to demonstrate the dependency of the convergence rate on the curvature of the manifold. We validate our theoretical results empirically on several optimization problems defined on a sphere and on the manifold of positive definite matrices.

研究动机与目标

• 开发一种实用的黎曼优化算法，实现比以往工作更广泛函数类别的加速收敛。
• 将收敛保证的范围从测地强凸函数扩展至测地凸函数和弱拟凸函数。
• 建立收敛速率与底层黎曼流形曲率之间的理论联系。
• 通过在涉及球面和正定矩阵流形的优化问题上的实证评估，验证理论发现。

提出的方法

• 针对黎曼优化设计了一种新颖的估计序列技术，用于在较弱凸性假设下分析收敛性。
• 将估计序列框架适配以考虑黎曼流形的曲率，从而实现更紧致的收敛界。
• 推导出显式依赖于流形截面曲率的收敛速率，推广了先前的结果。
• 利用标准黎曼优化工具，将该算法应用于球面和正定矩阵流形上的优化问题。
• 在迭代过程中使用重投影和向量传输操作，以确保数值稳定性和流形一致性。
• 利用估计序列来界定每次迭代中目标函数值的下降量，从而实现加速收敛。

实验结果

研究问题

• RQ1 是否可以在黎曼流形上对测地凸或弱拟凸函数实现加速收敛，而不仅限于强凸函数？
• RQ2 黎曼流形的曲率如何影响所提算法的收敛速率？
• RQ3 能否设计一种新颖的估计序列框架，以处理流形的几何结构并确保加速？
• RQ4 在非欧几里得域中，该方法在实际中是否优于标准黎曼下降法？
• RQ5 该算法在标准流形（如球面和正定矩阵流形）上的实证性能如何？

主要发现

• 所提算法在黎曼流形上的测地凸函数和弱拟凸函数上实现了加速收敛速率。
• 收敛速率显式依赖于流形的截面曲率，在非正曲率区域具有更紧的界。
• 新颖的估计序列技术成功推广至流形上的非强凸情形，实现了加速收敛。
• 实证结果证实了在球面和正定矩阵流形上的理论收敛速率。
• 在测试的优化问题中，该算法相比标准黎曼梯度下降表现出更快的收敛速度。
• 该方法在不同流形几何结构（包括具有非平凡曲率的流形）下保持了稳定性和高效性。