[论文解读] Spectrum Estimation from Samples

Weihao Kong, Gregory Valiant|arXiv (Cornell University)|Jan 30, 2016

Random Matrices and Applications被引用 4

一句话总结

该论文提出了一种计算高效的算法，仅需亚线性数量的样本即可估计总体谱（协方差矩阵的特征值），通过精确恢复谱矩并结合Wasserstein距离的论证。该方法建立了有限样本的误差界，表明即使样本量远小于维度，也能实现渐近一致性，且在多种分布下表现出强劲的实验性能。

ABSTRACT

We consider the problem of approximating the set of eigenvalues of the covariance matrix of a multivariate distribution (equivalently, the problem of approximating the "population spectrum"), given access to samples drawn from the distribution. The eigenvalues of the covariance of a distribution contain basic information about the distribution, including the presence or lack of structure in the distribution, the effective dimensionality of the distribution, and the applicability of higher-level machine learning and multivariate statistical tools. We consider this fundamental recovery problem in the regime where the number of samples is comparable, or even sublinear in the dimensionality of the distribution in question. First, we propose a theoretically optimal and computationally efficient algorithm for recovering the moments of the eigenvalues of the population covariance matrix. We then leverage this accurate moment recovery, via a Wasserstein distance argument, to show that the vector of eigenvalues can be accurately recovered. We provide finite--sample bounds on the expected error of the recovered eigenvalues, which imply that our estimator is asymptotically consistent as the dimensionality of the distribution and sample size tend towards infinity, even in the sublinear sample regime where the ratio of the sample size to the dimensionality tends to zero. In addition to our theoretical results, we show that our approach performs well in practice for a broad range of distributions and sample sizes.

研究动机与目标

• 解决当样本数量与维度相当时或小于维度时估计总体谱的挑战。
• 开发一种理论上最优且计算高效的算法，用于从有限样本中恢复谱矩。
• 证明谱矩的精确恢复可借助Wasserstein距离实现对完整特征值分布的一致估计。
• 提供有限样本下的误差界，确保在亚线性样本规模下（n ≪ d）的渐近一致性。
• 在包括单位阵、双峰、均匀分布和Toeplitz协方差结构在内的多种谱分布中，展示方法的强实验性能。

提出的方法

• 该算法使用理论上合理的误差界，通过稳健的矩估计程序，从样本中估计前k个谱矩（实验中k=7）。
• 利用Wasserstein距离的论证，基于矩恢复的精度，界定真实与估计谱分布之间的误差。
• 该方法采用加权最小二乘法求解矩问题，从估计的矩重构谱分布。
• 每个矩的误差界基于分布的四阶矩和样本量推导，第i个矩的误差界为O(max(d^{i/2-1},1)/n^{i/2})。
• 该算法应用于四种谱类型：单位阵、双峰、均匀分布和Toeplitz，所有设置下均表现一致。
• 实际实现中固定使用k=7个矩，但未来可基于矩的稳定性实现自适应选择。

实验结果

研究问题

• RQ1 当样本数量在维度上为亚线性时，能否准确恢复总体谱？
• RQ2 是否可能仅使用相对于维度较少的样本，实现一致的谱估计？
• RQ3 如何从有限样本中准确估计谱矩，以支持下游谱重构？
• RQ4 在有限样本下，对恢复的特征值分布误差可提供何种理论保证？
• RQ5 该方法在不同谱结构（包括结构化，如双峰；以及连续型，如均匀分布）下的性能表现如何？

主要发现

• 所提出的算法在亚线性尺度下（n/d → 0）实现渐近一致性，当维度和样本量同时增长时，即使n ≪ d也成立。
• 推导出真实与估计谱分布之间期望Wasserstein距离的有限样本误差界，表明其收敛于零。
• 实验结果表明，该方法在所有测试分布中均表现优异，包括具有挑战性的均匀分布和Toeplitz谱，即使在n ≤ d时亦然。
• 在所有设置下，该方法显著优于经验谱，估计的CDF与真实总体CDF高度吻合。
• 仅使用前7阶矩即可获得稳定且准确的结果，在测试范围内，更高阶矩未带来显著改进。
• 矩估计的理论误差界为O(max(d^{i/2-1},1)/n^{i/2})，这为该方法在高维、低样本场景下的鲁棒性提供了理论支持。