[论文解读] The More, the Merrier: the Blessing of Dimensionality for Learning Large Gaussian Mixtures

Joseph Anderson, Mikhail Belkin+3 more|arXiv (Cornell University)|Nov 12, 2013

Blind Source Separation Techniques参考文献 17被引用 29

一句话总结

本文证明，在维度 $ n $ 中，若高斯混合模型的分量数量为多项式数量，且均值满足非退化条件，则其在高维空间中可被高效学习。通过一种新颖的泊松化技术，将问题转化为基于张量的独立分量分析（ICA），作者证明此类混合模型可在多项式时间与样本复杂度下学习，揭示了‘维度的祝福’效应。

ABSTRACT

In this paper we show that very large mixtures of Gaussians are efficiently learnable in high dimension. More precisely, we prove that a mixture with known identical covariance matrices whose number of components is a polynomial of any fixed degree in the dimension n is polynomially learnable as long as a certain non-degeneracy condition on the means is satisfied. It turns out that this condition is generic in the sense of smoothed complexity, as soon as the dimensionality of the space is high enough. Moreover, we prove that no such condition can possibly exist in low dimension and the problem of learning the parameters is generically hard. In contrast, much of the existing work on Gaussian Mixtures relies on low-dimensional projections and thus hits an artificial barrier. Our main result on mixture recovery relies on a new "Poissonization"-based technique, which transforms a mixture of Gaussians to a linear map of a product distribution. The problem of learning this map can be efficiently solved using some recent results on tensor decompositions and Independent Component Analysis (ICA), thus giving an algorithm for recovering the mixture. In addition, we combine our low-dimensional hardness results for Gaussian mixtures with Poissonization to show how to embed difficult instances of low-dimensional Gaussian mixtures into the ICA setting, thus establishing exponential information-theoretic lower bounds for underdetermined ICA in low dimension. To the best of our knowledge, this is the first such result in the literature. In addition to contributing to the problem of Gaussian mixture learning, we believe that this work is among the first steps toward better understanding the rare phenomenon of the "blessing of dimensionality" in the computational aspects of statistical inference.

研究动机与目标

• 研究在维度增长下，分量数量随维度呈多项式增长的大型高斯混合模型是否可在高维空间中被高效学习。
• 确定在低维空间中学习高斯混合模型的计算困难性是否在高维空间中依然存在。
• 开发一种新方法，通过泊松化将高维高斯混合学习问题转化为张量分解问题。
• 证明在平滑复杂度下，均值的非退化条件在高维中为典型情况，从而实现高效学习。
• 通过嵌入困难的低维高斯混合实例，推导出低维欠定 ICA 的指数级信息论下界。

提出的方法

• 泊松化：通过以泊松分布的样本数量混合分量，将高斯混合模型转化为线性 ICA 模型。
• 利用高阶累积量的张量结构，通过多线性代数恢复混合矩阵与分量权重。
• 利用泊松分布分量产生非零高阶累积量的事实，通过张量分解实现分离。
• 应用近期关于多项式时间张量分解与 ICA 的结果，从变换后的模型中恢复原始混合参数。
• 使用 $ oldsymbol{A}^{igodot au} $ 张量的 Moore-Penrose 广义逆，从累积量张量中恢复分量权重。
• 采用平滑复杂度分析，证明在高维中，均值的非退化条件具有典型性，从而在高概率下实现学习。

实验结果

研究问题

• RQ1 在维度 $ n $ 中，分量数量为 $ n $ 的多项式函数的高斯混合模型是否可在高维中被高效学习？
• RQ2 在高维中，学习高斯混合模型的计算困难性是否因几何或代数结构而被克服？
• RQ3 泊松化技术能否用于将高斯混合学习问题转化为具有可证明保证的基于张量的 ICA 问题？
• RQ4 在平滑复杂度下，高维空间中高斯分量均值的非退化条件是否具有典型性？
• RQ5 能否将低维高斯混合的困难实例嵌入 ICA 框架，以建立信息论下界？

主要发现

• 当 $ m $ 个高斯分量具有已知的相同协方差矩阵，且 $ m = O(n^d) $（$ d $ 为任意固定常数）时，其在维度 $ n $ 中可被多项式时间学习，前提是均值满足非退化条件。
• 在维度 $ n $ 足够高时，均值的非退化条件在平滑复杂度下具有典型性，意味着大多数实例均可被学习。
• 在低维空间中，此类非退化条件不可能存在，从而证明在低维设置下学习具有普遍困难性。
• 基于泊松化的约化方法将高斯混合学习问题转化为张量 ICA 问题，从而可通过基于累积量的方法实现高效恢复。
• 该方法通过嵌入困难的低维高斯混合实例，为低维欠定 ICA 建立了指数级信息论下界。
• 本文首次为学习大型高斯混合模型中的‘维度的祝福’现象提供了严格证据，表明更高维度可使学习过程更简单。