[论文解读] Score matching estimators for directional distributions

Kanti V. Mardia, John T. Kent+1 more|arXiv (Cornell University)|Apr 28, 2016

Morphological variations and asymmetry参考文献 20被引用 22

一句话总结

该论文提出了在紧致定向黎曼流形（如球面和环面）上的方向分布的得分匹配估计，提供了一致且渐近正态的估计器，避免了难以计算的归一化常数。该方法通过基于矩估计器求解线性方程组来最小化Hyvärinen散度，实现了与von Mises-Fisher和Bingham模型中最大似然估计相当的高效率。

ABSTRACT

One of the major problems for maximum likelihood estimation in the well-established directional models is that the normalising constants can be difficult to evaluate. A new general method of "score matching estimation" is presented here on a compact oriented Riemannian manifold. Important applications include von Mises-Fisher, Bingham and joint models on the sphere and related spaces. The estimator is consistent and asymptotically normally distributed under mild regularity conditions. Further, it is easy to compute as a solution of a linear set of equations and requires no knowledge of the normalizing constant. Several examples are given, both analytic and numerical, to demonstrate its good performance.

研究动机与目标

• 解决在紧致黎曼流形上的方向分布最大似然估计中归一化常数难以计算的挑战。
• 将此前仅用于欧氏空间的得分匹配估计方法扩展至一般的紧致定向黎曼流形，包括球面和环面。
• 开发一种计算高效的估计器，在避免数值计算归一化常数的同时，保持统计一致性与渐近正态性。
• 展示该方法在关键方向分布模型（如von Mises-Fisher和Fisher-Bingham分布）中具有出色的有限样本性能和相对于最大似然估计的高效率。
• 在底层密度的弱正则性条件下，建立理论保证，包括一致性和渐近正态性。

提出的方法

• 提出基于Hyvärinen散度的得分匹配估计器，通过聚焦于得分函数及其梯度，避免了对归一化常数的需求。
• 利用Laplace-Beltrami算子和梯度内积，在紧致定向黎曼流形上推导得分匹配准则，确保在坐标变换下的不变性。
• 将估计问题表述为涉及数据经验矩与流形几何结构的线性方程组求解问题。
• 将该方法应用于球面及相关空间上的指数族模型，包括von Mises-Fisher和Bingham分布，利用其充分统计量。
• 利用Stokes定理将散度与Laplace-Beltrami算子关联，从而推导出可计算的 estimating 方程。
• 提出一种混合得分匹配估计器，结合基于矩的近似与几何约束，提升有限样本下的性能。

实验结果

研究问题

• RQ1 得分匹配估计能否系统性地推广至紧致定向黎曼流形（如球面和环面）上的方向分布？
• RQ2 与最大似然估计相比，得分匹配估计器在一致性、渐近正态性和效率方面的表现如何？
• RQ3 得分匹配估计器在多大程度上避免了方向模型中难以计算的归一化常数带来的计算负担？
• RQ4 在von Mises-Fisher和Bingham模型中，得分匹配估计器相对于最大似然估计器的渐近相对效率是多少？
• RQ5 得分匹配估计器能否被解释为方向模型中的双矩估计器？这种解释如何促进计算与理解？

主要发现

• 在弱正则性条件（A1）–（A2）下，得分匹配估计器是一致且渐近正态分布的，确保了可靠的推断。
• 该估计器无需了解归一化常数，且可作为线性方程组的解进行计算，从而可高效应用于大规模或流式数据集。
• 对于von Mises-Fisher模型，混合得分匹配估计器相对于最大似然估计的渐近相对效率在小和大集中参数下均趋近于1。
• 在von Mises-Fisher情形下，尽管充分统计量为线性，得分匹配估计器仍有效利用了数据的二次矩（如$ ext{E}[z z^T] $），表明其具有双矩结构。
• 在高集中度区域，该方法实现了高效率，与理论预期一致，此时方向分布近似为正态分布。
• 得分匹配估计器对$ ilde{oldsymbol{ heta}} $的渐近方差至少与最大似然估计器一样大，且在实践中效率通常接近1，尤其在von Mises情形下。