[论文解读] Ricci curvature for parametric statistics via optimal transport

Wuchen Li, Guido Montúfar|arXiv (Cornell University)|Jul 18, 2018

Geometric Analysis and Curvature Flows参考文献 34被引用 17

一句话总结

本文通过利用 Wasserstein 统计流形上 Kullback-Leibler 散度的测地线凸性，提出了一种参数统计模型的 Ricci 曲率下界的新概念，统一了信息几何与 Wasserstein 几何。主要贡献是通过 KL 散度的 Hessian 矩阵获得一个可计算的下界，该下界可预测指数族模型中 Wasserstein 梯度流的收敛速率，并在参数域内得到经验验证。

ABSTRACT

We elaborate the notion of a Ricci curvature lower bound for parametrized statistical models. Following the seminal ideas of Lott-Strum-Villani, we define this notion based on the geodesic convexity of the Kullback-Leibler divergence in a Wasserstein statistical manifold, that is, a manifold of probability distributions endowed with a Wasserstein metric tensor structure. Within these definitions, the Ricci curvature is related to both, information geometry and Wasserstein geometry. These definitions allow us to formulate bounds on the convergence rate of Wasserstein gradient flows and information functional inequalities in parameter space. We discuss examples of Ricci curvature lower bounds and convergence rates in exponential family models.

研究动机与目标

• 通过 Wasserstein 几何与信息几何，为参数统计模型的参数空间定义 Ricci 曲率下界。
• 建立 KL 散度的测地线凸性与参数空间中 Wasserstein 梯度流收敛速率之间的联系。
• 提供一个基于 KL 散度 Hessian 矩阵的可计算、全局几何不变量，用以界定学习收敛速率。
• 展示该曲率概念在指导模型设计与基础度量选择以实现更快学习方面的实用性。
• 将 Lott-Strümpf-Villani 与 Erbar-Maas 的基础思想推广至离散样本空间上的参数化统计模型。

提出的方法

• 将 Wasserstein 统计流形定义为配备 L²-Wasserstein 度量张量的参数化概率分布集合。
• 通过该流形上 KL 散度的测地线凸性引入 Ricci 曲率下界，其中 KL 散度的 Hessian 矩阵是关键组成部分。
• 将曲率条件表述为一个矩阵不等式，涉及 Fisher-Rao 度量、Wasserstein 度量、参数化函数的二阶导数以及 Wasserstein 流形的 Christoffel 符号。
• 通过在参数域上取 KL 散度 Hessian 矩阵的最小特征值来估计曲率下界。
• 通过将该下界与多个指数族模型中 Wasserstein 梯度流的实际收敛速率进行比较，对边界进行经验验证。
• 通过在离散状态空间上的数值实验表明，基于 Hessian 的曲率边界始终低估或匹配实际观察到的收敛速率。

实验结果

研究问题

• RQ1 如何利用 Wasserstein 几何与信息几何在统计模型的参数空间上定义 Ricci 曲率？
• RQ2 KL 散度的测地线凸性与参数模型中 Wasserstein 梯度流的收敛速率之间存在何种关系？
• RQ3 KL 散度的 Hessian 矩阵能否为指数族中学习算法的收敛速率提供一个可计算的下界？
• RQ4 该曲率下界如何依赖于参考测度、模型结构以及样本空间上的基础度量？
• RQ5 该曲率下界在多大程度上可指导统计模型与学习算法的设计？

主要发现

• Ricci 曲率下界通过 Wasserstein 统计流形上 KL 散度的测地线凸性来定义，为学习动态提供了几何表征。
• 该曲率边界在计算上是可访问的，即为 KL 散度 Hessian 矩阵的最小特征值，且始终作为实际收敛速率的下界。
• 经验结果表明，当参数域远离单纯形边界时，基于 Hessian 的曲率边界与收敛速率高度吻合；随着参数域趋近边界，两者差距逐渐增大。
• 该曲率边界依赖于参考测度、统计模型以及基础度量，表明其在模型与度量设计中的潜在指导价值。
• 理论与经验结果共同证实，正的 Ricci 曲率下界意味着指数族模型中 Wasserstein 梯度流的更快收敛。
• 该框架可自然推广至连续样本空间，并暗示可进一步推广至其他 f-散度与度量结构。