[论文解读] Optimal estimation of high-dimensional Gaussian mixtures

Natalie Doss, Yihong Wu+2 more|arXiv (Cornell University)|Feb 14, 2020

Markov Chains and Monte Carlo Methods参考文献 54被引用 10

一句话总结

该论文在无需分离性假设的前提下，建立了高维有限高斯位置分量混合模型的最优极小极大估计速率。通过利用矩张量及其低秩结构，推导出在 Wasserstein 距离下的最优速率 $\Theta((d/n)^{1/4} + n^{-1/(4k-2)})$，并表明在 Hellinger 距离下密度可达到参数速率 $\Theta(\sqrt{d/n})$，尽管目前尚无高效算法可实现后者。

ABSTRACT

This paper studies the optimal rate of estimation in a finite Gaussian location mixture model in high dimensions without separation conditions. We assume that the number of components $k$ is bounded and that the centers lie in a ball of bounded radius, while allowing the dimension $d$ to be as large as the sample size $n$. Extending the one-dimensional result of Heinrich and Kahn \cite{HK2015}, we show that the minimax rate of estimating the mixing distribution in Wasserstein distance is $\Theta((d/n)^{1/4} + n^{-1/(4k-2)})$, achieved by an estimator computable in time $O(nd^2+n^{5/4})$. Furthermore, we show that the mixture density can be estimated at the optimal parametric rate $\Theta(\sqrt{d/n})$ in Hellinger distance; however, no computationally efficient algorithm is known to achieve the optimal rate. Both the theoretical and methodological development rely on a careful application of the method of moments. Central to our results is the observation that the information geometry of finite Gaussian mixtures is characterized by the moment tensors of the mixing distribution, whose low-rank structure can be exploited to obtain a sharp local entropy bound.

研究动机与目标

• 确定当分量数 $k$ 有界且中心位于有界球内时，高维有限高斯位置分量混合模型的最优极小极大估计速率。
• 在高维渐近情形 $d \sim n$ 下，开发一种计算高效的估计器，实现 Wasserstein 距离下的最优速率。
• 通过混合分布的矩张量刻画有限高斯混合模型的信息几何结构。
• 证明混合密度在 Hellinger 距离下可达到参数速率 $\Theta(\sqrt{d/n})$，尽管目前尚无高效算法可实现该速率。

提出的方法

• 应用矩方法将混合分布与其矩张量关联，利用其在高维下的低秩结构。
• 基于矩张量的低秩结构，推导出一个紧致的局部熵界，以控制统计复杂度。
• 构造一个运行时间为 $O(nd^2 + n^{5/4})$ 的可计算估计器，该估计器在 Wasserstein 距离下达到最优极小极大速率。
• 通过矩匹配估计混合分布，理论保证基于熵与度量熵的论证得出。
• 通过矩张量的代数与几何性质，分析有限高斯混合模型的信息几何结构。

实验结果

研究问题

• RQ1 在无分离性条件的前提下，高维有限高斯位置分量混合模型的最优极小极大估计速率是什么？
• RQ2 在高维渐近情形下，是否存在一种计算高效的估计器，可实现 Wasserstein 距离下的最优速率？
• RQ3 此类模型在 Hellinger 距离下的最优密度估计速率是多少？
• RQ4 矩张量的低秩结构如何影响统计复杂度与估计速率？
• RQ5 有限高斯混合模型的信息几何是否可由其矩张量完全刻画？

主要发现

• 在 Wasserstein 距离下估计混合分布的极小极大速率是 $\Theta((d/n)^{1/4} + n^{-1/(4k-2)})$，在给定模型假设下为最优。
• 一种运行时间为 $O(nd^2 + n^{5/4})$ 的估计器可达到该最优速率，使其在高维设置下具有可行性。
• 混合密度在 Hellinger 距离下可达到参数速率 $\Theta(\sqrt{d/n})$，表明密度估计在统计上比混合测度估计更简单。
• 矩张量的低秩结构使得能够推导出紧致的局部熵界，这是推导最优速率的核心。
• 有限高斯混合模型的信息几何可由混合分布的矩张量完全刻画，从而支持理论分析。