[论文解读] Semi-Riemannian Manifold Optimization

Tingran Gao, Lek‐Heng Lim+1 more|arXiv (Cornell University)|Dec 18, 2018

Advanced Numerical Analysis Techniques参考文献 28被引用 5

一句话总结

本文提出了一种在半黎曼流形上的新型优化框架，将黎曼流形优化扩展至允许不定度量。通过利用半黎曼几何，该框架构建了最速下降法与共轭梯度算法，使其在不同度量符号下均保持收敛性，数值实验表明其在伪球面与闵可夫斯基空间上表现出度量无关的收敛行为及线性收敛速率。

ABSTRACT

We introduce in this paper a manifold optimization framework that utilizes semi-Riemannian structures on the underlying smooth manifolds. Unlike in Riemannian geometry, where each tangent space is equipped with a positive definite inner product, a semi-Riemannian manifold allows the metric tensor to be indefinite on each tangent space, i.e., possessing both positive and negative definite subspaces; differential geometric objects such as geodesics and parallel-transport can be defined on non-degenerate semi-Riemannian manifolds as well, and can be carefully leveraged to adapt Riemannian optimization algorithms to the semi-Riemannian setting. In particular, we discuss the metric independence of manifold optimization algorithms, and illustrate that the weaker but more general semi-Riemannian geometry often suffices for the purpose of optimizing smooth functions on smooth manifolds in practice.

研究动机与目标

• 开发黎曼流形优化的推广，通过半黎曼几何容纳不定度量。
• 研究在弱化为半黎曼结构（而非要求正定黎曼度量）时，优化算法是否仍保持有效与收敛。
• 建立经典优化算法（如最速下降法与共轭梯度法）在半黎曼几何中的对应形式。
• 证明优化算法的度量无关性，并验证二阶方法在不同半黎曼结构下的可行性。
• 为具有不定几何的流形上的非凸优化提供理论与算法基础，相关于内点法与信息几何。

提出的方法

• 提出半黎曼梯度修正方法，确保即使在度量不定时也能获得下降方向。
• 在闵可夫斯基空间中的伪球面与伪双曲面上，利用半黎曼测地线的显式表达式定义重投影映射。
• 通过将黎曼度量替换为非退化的半黎曼度量，对黎曼优化算法（最速下降法与共轭梯度法）进行适配。
• 利用牛顿法与信赖域方法在不同半黎曼度量下的不变性，证明其对度量选择的鲁棒性。
• 采用闵可夫斯基空间 $\mathbb{R}^{p,q}$ 作为基空间，构建非退化的半黎曼子流形（如伪球面与伪双曲面）。
• 通过在 $\mathbb{S}^{p,q}$ 与 $\mathbb{R}^{p,q}$ 中单位球面上的随机优化问题实例进行数值实验，验证收敛性与收敛速率行为。

实验结果

研究问题

• RQ1 能否将流形上的优化算法有效推广至黎曼度量之外，涵盖不定的半黎曼结构？
• RQ2 在不同半黎曼度量符号下，一阶优化算法的收敛性是否仍能保证？
• RQ3 在相同底层面纱上，最速下降法与共轭梯度法在不同半黎曼结构下的收敛速率如何变化？
• RQ4 牛顿法与信赖域法等二阶方法在半黎曼度量变化下，其不变性在多大程度上成立？
• RQ5 半黎曼几何能否为理解非凸设置下的内点法与自然梯度下降提供几何框架？

主要发现

• 在闵可夫斯基空间的非退化半黎曼子流形上，半黎曼最速下降法与共轭梯度法均全局收敛，且不依赖于度量符号。
• 收敛速率随半黎曼结构而变化，数值实验显示黎曼情形（$p=0$, $q=10$）收敛最快。
• 在闵可夫斯基空间 $\mathbb{R}^{3,12}$ 中的单位伪球面 $\mathbb{S}^{3,12}$ 上，半黎曼最速下降法与共轭梯度法均呈现线性收敛。
• 牛顿法与信赖域法等二阶方法在不同半黎曼度量下保持不变，证实其度量无关性。
• 所提出的框架将标准无约束欧氏优化与黎曼流形优化作为特例统一于更广泛的几何框架之下。
• 数值结果证实，半黎曼测地线可作为伪球面上优化的有效且计算高效的重投影映射，支持实际算法实现。