[论文解读] Polynomial Time and Sample Complexity for Non-Gaussian Component Analysis: Spectral Methods

Tan Yan, Roman Vershynin|arXiv (Cornell University)|Apr 4, 2017

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

本文提出了一种新颖的谱方法——加权PCA（Reweighted PCA），用于非高斯分量分析（NGCA），实现了在低维子空间中恢复非高斯结构的多项式时间与多项式样本复杂度，该子空间中数据表现出非高斯特性。该方法利用一种基于范数与内积比较的高维高斯分布新表征，证明了在温和条件下，该算法可保证高效地恢复至少一个非高斯子空间方向。

ABSTRACT

The problem of Non-Gaussian Component Analysis (NGCA) is about finding a maximal low-dimensional subspace $E$ in $\mathbb{R}^n$ so that data points projected onto $E$ follow a non-gaussian distribution. Although this is an appropriate model for some real world data analysis problems, there has been little progress on this problem over the last decade. In this paper, we attempt to address this state of affairs in two ways. First, we give a new characterization of standard gaussian distributions in high-dimensions, which lead to effective tests for non-gaussianness. Second, we propose a simple algorithm, \emph{Reweighted PCA}, as a method for solving the NGCA problem. We prove that for a general unknown non-gaussian distribution, this algorithm recovers at least one direction in $E$, with sample and time complexity depending polynomially on the dimension of the ambient space. We conjecture that the algorithm actually recovers the entire $E$.

研究动机与目标

• 为长期缺乏在多项式时间与样本复杂度下可证明高效的非高斯分量分析（NGCA）算法提供解决方案。
• 开发一种简单而有效的算法，即使在信噪比较低时也能恢复非高斯子空间。
• 基于径向与内积矩条件，提出高维高斯分布的新理论表征。
• 证明所提出的加权PCA算法可在多项式样本与时间复杂度下，恢复至少一个非高斯子空间方向。

提出的方法

• 提出一种新型谱方法——加权PCA，其在加权样本上执行PCA，其中权重是非线性函数的输入数据点。
• 引入高斯分布的新表征：若一个随机向量与标准高斯分布具有相同的径向分布和相同的成对内积分布，则其本身即为高斯分布。
• 对数据应用白化变换，假设数据具有各向同性，以将NGCA模型简化为标准形式。
• 利用矩张量分解与能量最小化，推导出通过范数与内积统计量检测非高斯性的理论基础。
• 利用Davis-Kahan定理界定特征向量扰动，并将谱范数误差与子空间距离关联。
• 通过次高斯与次指数尾部估计，分析算法的鲁棒性，以界定加权范数的尾部行为。

实验结果

研究问题

• RQ1 在一般非高斯分布下，简单的谱算法是否能实现NGCA的多项式时间与多项式样本复杂度？
• RQ2 基于径向与内积矩的高维高斯分布新表征，是否能有效检测非高斯性？
• RQ3 加权PCA能否在可证明的保证下恢复非高斯子空间中的至少一个方向？
• RQ4 当标准PCA失效时，算法在低信噪比下的性能是否具有鲁棒性？
• RQ5 该算法是否收敛至真实的非高斯子空间E，还是仅收敛至相关子空间F？

主要发现

• 所提出的加权PCA算法在环境维数n的多项式时间与样本复杂度下，可恢复非高斯子空间E中的至少一个方向。
• 该算法在各向同性NGCA模型下实现，其中假设数据分布已白化且具有各向同性。
• 建立了高斯分布的新表征：若一个随机向量与标准高斯分布具有相同的径向范数与相同的成对内积分布，则其本身即为高斯分布。
• 理论分析表明，非高斯性总是可通过数据范数或内积结构的偏离来检测。
• 该方法对重尾或非椭球非高斯分量具有鲁棒性，因分析仅依赖于矩条件与尾部界。
• 作者基于实证与理论证据，推测该算法不仅能恢复单个方向，还能恢复整个非高斯子空间E。