[论文解读] Optimally Weighted PCA for High-Dimensional Heteroscedastic Data

David Hong, Yang, Fan+2 more|arXiv (Cornell University)|Oct 30, 2018

Blind Source Separation Techniques参考文献 1被引用 12

一句话总结

本文提出了一种针对高维异方差数据的最优加权PCA方法，其中噪声方差在不同样本间变化。该方法推导出最优权重为信号方差与噪声方差的简单函数——出人意料的是，并非逆噪声方差。在模拟数据和真实天文数据中，该方法在高维渐近情形下表现优于标准加权方案。

ABSTRACT

Modern data are increasingly both high-dimensional and heteroscedastic. This paper considers the challenge of estimating underlying principal components from high-dimensional data with noise that is heteroscedastic across samples, i.e., some samples are noisier than others. Such heteroscedasticity naturally arises, e.g., when combining data from diverse sources or sensors. A natural way to account for this heteroscedasticity is to give noisier blocks of samples less weight in PCA by using the leading eigenvectors of a weighted sample covariance matrix. We consider the problem of choosing weights to optimally recover the underlying components. In general, one cannot know these optimal weights since they depend on the underlying components we seek to estimate. However, we show that under some natural statistical assumptions the optimal weights converge to a simple function of the signal and noise variances for high-dimensional data. Surprisingly, the optimal weights are not the inverse noise variance weights commonly used in practice. We demonstrate the theoretical results through numerical simulations and comparisons with existing weighting schemes. Finally, we briefly discuss how estimated signal and noise variances can be used when the true variances are unknown, and we illustrate the optimal weights on real data from astronomy.

研究动机与目标

• 为解决在某些样本比其他样本更嘈杂的高维异方差数据中，传统PCA性能下降的问题。
• 确定能最小化潜在主成分估计误差的加权PCA最优权重。
• 在高维渐近假设下，推导出基于信号和噪声方差的理论基础坚实且形式简单的最优权重函数。
• 通过模拟和真实数据验证，表明所提出的最优权重显著优于现有方案的PCA性能。

提出的方法

• 使用加权样本协方差矩阵构建加权PCA，其中根据各数据块的噪声水平为其分配权重。
• 在高维渐近框架下（n, p → ∞ 且 p/n → c ∈ (0, ∞)）假设每组内噪声为i.i.d.次高斯分布，解析推导最优权重。
• 利用随机矩阵理论刻画加权样本协方差矩阵的特征值与特征向量的渐近行为。
• 表明最优权重依赖于信号和噪声方差，但并非如常规做法所采用的逆噪声方差。
• 当真实信号和噪声方差未知时，提出一种基于样本方差的实用估计策略。
• 通过数值模拟和对斯隆数字巡天（Sloan Digital Sky Survey）中类星体光谱的真实数据进行分析，验证了该方法的有效性。

实验结果

研究问题

• RQ1 当数据为高维且在样本间呈现异方差性时，加权PCA的最优权重是什么？
• RQ2 在高维极限下，最优权重与底层信号和噪声方差之间有何关系？
• RQ3 为何尽管广泛使用，逆噪声方差权重仍无法实现最优性能？
• RQ4 在实际高维设定下，渐近最优权重与有限样本最优权重的接近程度如何？
• RQ5 当真实方差未知时，能否有效利用估计的信号和噪声方差？

主要发现

• 最优权重是信号和噪声方差的简单函数，但并非如实践中常见的逆噪声方差。
• 在高维渐近情形下，最优权重收敛到仅依赖于信号方差与噪声方差之比的闭式表达式。
• 数值模拟表明，当维度较大时，渐近最优权重通常与有限样本最优权重非常接近。
• 所提出的最优权重在主成分估计精度方面优于均匀权重和逆方差加权方案。
• 在模拟中，最优加权方案在比现有方法更广泛的一系列设定下仍能保持非零的渐近性能。
• 在真实类星体光谱数据上，最优权重能有效整合异质数据源，相比标准PCA和其他加权策略，显著提升了主成分的恢复效果。