[论文解读] Operator-valued formulas for Riemannian Gradient and Hessian and families of tractable metrics in optimization and machine learning

Du Nguyễn|arXiv (Cornell University)|Sep 21, 2020

Topological and Geometric Data Analysis被引用 5

一句话总结

本文提出了在具有非恒定内积空间嵌入切空间的流形上，基于投影型Levi-Civita联络的Riemann梯度与Hessian的算子值公式。该方法实现了测地线的闭式表达，并支持在Stiefel流形、低秩半正定矩阵以及旗流形的新一类度量上进行符号化优化量计算，显著扩展了优化与机器学习中可处理的度量范围。

ABSTRACT

We provide an explicit formula for the Levi-Civita connection and Riemannian Hessian when the {\it tangent space} at each point of a Riemannian manifold is embedded in an inner product space with a non-constant metric. Together with a classical formula for projection, this allows us to evaluate Riemannian gradient and Hessian for several families of metric extending existing ones on classical manifolds: a family of metrics on Stiefel manifolds connecting both the constant and canonical ambient metrics with closed-form geodesics; a family of quotient metrics on a manifold of positive-semidefinite matrices of fixed rank, considered as a quotient of a product of Stiefel and positive-definite matrix manifold with affine-invariant metrics; a large family of new metrics on flag manifolds. We show in many instances, this method allows us to apply symbolic calculus to derive formulas for the Riemannian gradient and Hessian. The method greatly extends the list of potential metrics that could be used in manifold optimization and machine learning.

研究动机与目标

• 将可处理的Riemann度量范围从现有的典型与恒定度量扩展至更广泛的应用场景。
• 推导出当切空间被嵌入具有非恒定度量的内积空间时，Levi-Civita联络与Riemann Hessian的显式公式。
• 在Stiefel、低秩半正定矩阵及旗流形等新一类流形上，实现Riemann梯度与Hessian的符号化计算。
• 通过在Stiefel流形上插值恒定度量与典型环境度量，构造出具有闭式测地线的度量族。
• 基于乘积流形的仿射不变结构，为固定秩半正定矩阵构造商度量。

提出的方法

• 通过投影到嵌入于具有非恒定度量的环境内积空间中的切空间，推导Levi-Civita联络。
• 应用经典投影公式，将Riemann Hessian表示为环境度量与切空间几何的函数。
• 使用算子值表达式表示度量、梯度与Hessian，支持符号化操作与闭式求值。
• 通过在恒定度量与典型环境度量之间插值，构造Stiefel流形上的新度量族，实现闭式测地线。
• 将固定秩正定矩阵上的商度量定义为Stiefel流形与正定流形乘积的商，其度量具有仿射不变性。
• 将该框架应用于旗流形，引入一大类新型Riemann度量，适用于优化计算。

实验结果

研究问题

• RQ1 如何系统化地计算具有非恒定、算子值度量的流形上Riemann Hessian与梯度？
• RQ2 哪些Stiefel流形上的Riemann度量族可实现闭式测地线并支持优化量的符号化计算？
• RQ3 能否基于仿射不变结构并嵌入于环境内积空间中，构造固定秩半正定矩阵上的商度量？
• RQ4 利用所提出的算子值框架，可在旗流形上定义哪些新型可处理度量类？
• RQ5 基于投影的Levi-Civita联络公式在多大程度上推广了现有流形优化方法？

主要发现

• 本文基于非恒定环境度量下对切空间的投影，推导出Riemann Hessian与梯度的通用算子值公式。
• 构造了一类在Stiefel流形上插值恒定度量与典型环境度量的度量族，实现了闭式测地线。
• 通过具有仿射不变度量的乘积流形构造，定义了固定秩半正定矩阵上的商度量，支持高效优化。
• 该框架支持在Stiefel、低秩半正定矩阵及旗流形等多种流形类型上，对Riemann优化量实现符号化计算。
• 该方法通过支持闭式表达与高效计算，显著扩展了适用于优化与机器学习的Riemann度量集合。
• 该方法为具有复杂非恒定度量的多种流形，提供了一个统一框架，用于推导Riemann Hessian与梯度公式。