[论文解读] Statistics on the (compact) Stiefel manifold: Theory and Applications

Rudrasis Chakraborty, Baba C. Vemuri|arXiv (Cornell University)|Jul 31, 2017

Face and Expression Recognition参考文献 32被引用 11

一句话总结

本文在紧致Stiefel流形（一种齐性空间）上提出了一种新型高斯分布，并证明其位置参数的最大似然估计（MLE）等于弗雷歇均值（FM）。提出StiFME——一种递归的、确定性的FM估计器，具备弱一致性，且在合成数据与真实数据上，其计算效率和收敛速度优于基于梯度及随机梯度的方法。

ABSTRACT

A Stiefel manifold of the compact type is often encountered in many fields of Engineering including, signal and image processing, machine learning, numerical optimization and others. The Stiefel manifold is a Riemannian homogeneous space but not a symmetric space. In previous work, researchers have defined probability distributions on symmetric spaces and performed statistical analysis of data residing in these spaces. In this paper, we present original work involving definition of Gaussian distributions on a homogeneous space and show that the maximum-likelihood estimate of the location parameter of a Gaussian distribution on the homogeneous space yields the Fréchet mean (FM) of the samples drawn from this distribution. Further, we present an algorithm to sample from the Gaussian distribution on the Stiefel manifold and recursively compute the FM of these samples. We also prove the weak consistency of this recursive FM estimator. Several synthetic and real data experiments are then presented, demonstrating the superior computational performance of this estimator over the gradient descent based non-recursive counter part as well as the stochastic gradient descent based method prevalent in literature.

研究动机与目标

• 在齐性空间上定义有效的高斯分布，推广此前仅限于对称空间的研究。
• 证明该分布中位置参数的最大似然估计（MLE）等于样本的弗雷歇均值（FM）。
• 设计一种递归的、确定性的算法（StiFME），用于计算流形值数据的FM，并提供弱一致性的证明。
• 在在线与流式数据场景下，展示StiFME相较于梯度下降与随机梯度下降（SGD）方法在计算效率上的显著优势。
• 在合成数据与真实世界数据（包括向量心电图分析）上验证方法，结果表现出高重建精度与低误差。

提出的方法

• 将高斯分布定义在紧致Stiefel流形上，作为齐性空间，确保归一化常数与位置参数无关。
• 利用黎曼指数映射与切空间构造概率密度函数，使归一化因子为常数。
• 设计采样方法，从定义的Stiefel流形上的高斯分布中生成独立同分布（i.i.d.）样本。
• 提出StiFME：一种递归估计器，通过固定步长增量更新FM估计，避免迭代优化。
• 在标准正则性条件下，证明StiFME的弱一致性，表明其依概率收敛至真实FM。
• 证明位置参数的MLE渐近达到Cramér-Rao下界，证实其效率。

实验结果

研究问题

• RQ1 能否在齐性空间（如紧致Stiefel流形）上定义具有常数归一化因子的正确定义的高斯分布？
• RQ2 该高斯分布的位置参数的最大似然估计是否等于样本的弗雷歇均值？
• RQ3 能否设计一种递归的、确定性的算法，用于Stiefel流形上的FM估计，避免迭代优化并保证弱一致性？
• RQ4 在流形值数据上，所提出的递归估计器（StiFME）相较于梯度下降与随机梯度下降方法，在收敛速度与精度方面表现如何？
• RQ5 StiFME的计算复杂度与实际性能在真实与合成数据设置下，相较于现有FM估计器如何？

主要发现

• 所提出的Stiefel流形上的高斯分布具有常数归一化因子，验证了其数学一致性。
• 位置参数的MLE被严格证明等于样本的弗雷歇均值，为FM估计建立了坚实的统计基础。
• 在100个样本的一轮遍历中，StiFME与真实FM的距离为0.00025，方差极低（0.05），而文献[7]中的SGD方法需19轮才能达到相同容差。
• 在较高方差（0.29）下，StiFME在一轮内达到0.00039的距离，而SGD方法需58轮才能达到0.00039的容差。
• StiFME的时间复杂度为O(ιN)，其中ι为迭代次数，且可在单轮内收敛，显著快于SGD（复杂度为O(bι̂)，b为批量大小，ι̂为迭代次数）。
• 在向量心电图数据中，利用前两个主测地线方向进行重构，每位受试者的平均误差为0.05，表明FM与基于PGA的分析具有高度准确性。