[论文解读] Wasserstein Riemannian Geometry of Positive Definite Matrices

Luigi Malagò, Luigi Montrucchio+1 more|arXiv (Cornell University)|Jan 28, 2018

Geometric Analysis and Curvature Flows参考文献 30被引用 15

一句话总结

本文将多变量正态分布密度上的 Wasserstein 距离确立为正定矩阵流形上的黎曼度量，通过基于 Lyapunov 算子的表达式，推导出黎曼指数映射、法坐标系、梯度及 Levi-Civita 联络的显式公式。关键贡献在于通过算子 $\mathcal{L}_\Sigma[X]$ 建立了黎曼度量的闭式矩阵表示，从而实现对对称正定矩阵上优化所必需的几何量的高效计算。

ABSTRACT

The Wasserstein distance on multivariate non-degenerate Gaussian densities is a Riemannian distance. After reviewing the properties of the distance and the metric geodesic, we present an explicit form of the Riemannian metrics on positive-definite matrices and compute its tensor form with respect to the trace inner product. The tensor is a matrix which is the solution to a Lyapunov equation. We compute the explicit formula for the Riemannian exponential, the normal coordinates charts and the Riemannian gradient. Finally, the Levi-Civita covariant derivative is computed in matrix form together with the differential equation for the parallel transport. While all computations are given in matrix form, nonetheless we discuss also the use of a special moving frame.

研究动机与目标

• 将非退化高斯分布上的 Wasserstein 距离确立为正定矩阵流形上的黎曼度量。
• 推导黎曼指数映射、法坐标系及黎曼梯度等基本几何对象的显式闭式表达式。
• 通过 Lyapunov 算子 $\mathcal{L}_\Sigma[X]$ 表述黎曼度量，实现基于矩阵的度量及其导数的计算。
• 以矩阵形式计算 Levi-Civita 协变导数和平行移动方程，用于二阶优化。

提出的方法

• 两个零均值高斯分布之间的 Wasserstein 距离表示为 $W^2 = \|\mu_1 - \mu_2\|^2 + \operatorname{Tr}(\Sigma_1 + \Sigma_2 - 2(\Sigma_1^{1/2}\Sigma_2\Sigma_1^{1/2})^{1/2})$，该表达式在 $\operatorname{Sym}^{++}(n)$ 上定义了一个黎曼度量。
• 黎曼度量通过 Frobenius 内积表示为 $W_\Sigma(X,Y) = \langle \mathcal{L}_\Sigma[X], Y \rangle_2$，其中 $\mathcal{L}_\Sigma[X]$ 求解一个 Lyapunov 方程。
• 黎曼指数映射被显式推导为 $\operatorname{Exp}_\Sigma(tV) = \Sigma + tV + t^2 \mathcal{L}_\Sigma[V]\Sigma\mathcal{L}_\Sigma[V] + \mathcal{O}(t^3)$。
• 通过度量的偏导数计算 Levi-Civita 联络，得到平行移动的微分方程。
• 引入一种特殊的活动标架，以简化 Levi-Civita 联络的表达式并降低计算复杂度。
• 通过沿测地线的标量场二阶变分推导黎曼 Hessian，利用度量的二阶导数。

实验结果

研究问题

• RQ1 如何将高斯分布上的 Wasserstein 距离解释为正定矩阵流形上的黎曼度量？
• RQ2 在此几何结构中，黎曼指数映射的显式矩阵形式是什么？
• RQ3 如何利用度量的算子表示，以闭式计算黎曼梯度与 Hessian？
• RQ4 在此黎曼框架下，Levi-Civita 协变导数与平行移动的结构是怎样的？
• RQ5 能否构造一种简化的活动标架，以降低 Levi-Civita 联络的计算复杂度？

主要发现

• Wasserstein 距离在非退化高斯分布流形上诱导出一个黎曼度量，其度量张量为 $W_\Sigma(X,Y) = \langle \mathcal{L}_\Sigma[X], Y \rangle_2$，其中 $\mathcal{L}_\Sigma[X]$ 满足 Lyapunov 方程 $\mathcal{L}_\Sigma[X]\Sigma + \Sigma\mathcal{L}_\Sigma[X] = X$。
• 黎曼指数映射被显式计算为 $\operatorname{Exp}_\Sigma(tV) = \Sigma + tV + t^2 \mathcal{L}_\Sigma[V]\Sigma\mathcal{L}_\Sigma[V] + \mathcal{O}(t^3)$，为 $\operatorname{Sym}^{++}(n)$ 上的优化提供了重投影映射。
• 标量场 $\phi$ 的黎曼梯度为 $\nabla_\Sigma\phi = \mathcal{L}_\Sigma^{-1}[\nabla\phi]$，支持高效的自然梯度下降。
• Levi-Civita 协变导数以矩阵形式推导，平行移动的微分方程以度量的偏导数表示。
• 引入一种特殊活动标架，简化了 Levi-Civita 联络的表达，降低了几何计算中的计算复杂度。
• 通过沿测地线的二阶变分计算黎曼 Hessian，得到 $\ddot{\varphi}(0) = \operatorname{Hess}\phi(\Sigma)(V,V)$，从而实现流形上的二阶优化。