[论文解读] RSVP-graphs: Fast High-dimensional Covariance Matrix Estimation under Latent Confounding

Rajen D. Shah, Benjamin Frot+2 more|arXiv (Cornell University)|Nov 2, 2018

Statistical Methods and Inference参考文献 30被引用 4

一句话总结

该论文提出 RSVP-graphs，一种在潜在混杂因素存在下快速且可扩展地估计高维协方差矩阵的方法，通过将观测数据投影到数据矩阵的右奇异向量上来实现。该方法仅恢复真实协方差矩阵至未知比例因子，从而在潜在因子与特异性噪声特征值差距较小时，仍能实现相关系数矩阵和网络结构的稳健估计。

ABSTRACT

In this work we consider the problem of estimating a high-dimensional $p imes p$ covariance matrix $Σ$, given $n$ observations of confounded data with covariance $Σ+ ΓΓ^T$, where $Γ$ is an unknown $p imes q$ matrix of latent factor loadings. We propose a simple and scalable estimator based on the projection on to the right singular vectors of the observed data matrix, which we call RSVP. Our theoretical analysis of this method reveals that in contrast to PCA-based approaches, RSVP is able to cope well with settings where the smallest eigenvalue of $Γ^T Γ$ is close to the largest eigenvalue of $Σ$, as well as settings where the eigenvalues of $Γ^T Γ$ are diverging fast. It is also able to handle data that may have heavy tails and only requires that the data has an elliptical distribution. RSVP does not require knowledge or estimation of the number of latent factors $q$, but only recovers $Σ$ up to an unknown positive scale factor. We argue this suffices in many applications, for example if an estimate of the correlation matrix is desired. We also show that by using subsampling, we can further improve the performance of the method. We demonstrate the favourable performance of RSVP through simulation experiments and an analysis of gene expression datasets collated by the GTEX consortium.

研究动机与目标

• 解决在存在未观测到的潜在因子导致数据混杂时，估计高维协方差矩阵的挑战。
• 开发一种计算高效的估计方法，即使潜在因子载荷矩阵的特征值与真实协方差矩阵的特征值未充分分离，该方法仍保持有效性。
• 在未知正比例因子下估计真实协方差矩阵 Σ，该结果足以支持相关系数矩阵估计或网络发现等应用。
• 避免对潜在因子数量 q 的估计需求，该值在实际中通常未知且难以识别。
• 通过子采样提升性能，同时在椭球分布下保持理论一致性和稳健性。

提出的方法

• 该方法利用列中心化数据矩阵 X 的右奇异向量 V 构造估计器 Σ̂_rsvp = VV^T，称为右奇异向量投影（RSVP）。
• 该方法本质上是尺度无关的，仅恢复 Σ 至未知正标量因子，这足以支持相关系数矩阵估计与网络结构学习。
• 该方法无需了解或估计潜在因子数量 q，因此在潜在因子特征值分离较弱或重叠的高维设定下具有鲁棒性。
• 通过子采样提升估计器的有限样本性能并增强其稳定性。
• 理论分析表明，RSVP 在广泛条件下保持一致性，包括当 Γ^TΓ 的最小特征值接近 Σ 的最大特征值时。
• 该方法具有分布鲁棒性：若数据行服从椭球分布，则估计器的分布与高斯分布下的分布一致，如命题 4 所示。

实验结果

研究问题

• RQ1 是否存在一种快速、可扩展的方法，在无需知道潜在因子数量的情况下，估计潜在混杂因素下的高维协方差矩阵？
• RQ2 当潜在因子与特异性噪声之间的特征值差距较小时或不存在时，该方法表现如何？
• RQ3 估计器的尺度无关性在多大程度上影响下游推断，如相关系数矩阵估计或网络发现？
• RQ4 子采样是否能在保持理论一致性的前提下，提升估计器的有限样本性能？
• RQ5 该方法在非高斯椭球分布下是否仍保持稳健性？

主要发现

• 即使当 Γ^TΓ 的最小特征值接近 Σ 的最大特征值时，RSVP 仍能一致地估计真实协方差矩阵 Σ 至未知比例因子。
• 在传统主成分去除方法因缺乏特征值分离或主成分估计不稳定而失效的设定下，该方法依然有效。
• 理论分析证实，RSVP 在包括 Γ^TΓ 特征值快速发散在内的广泛高维模型类中保持一致性。
• 子采样显著提升了估计器在中等至高维设定下的有限样本性能。
• 估计器具有分布鲁棒性：在椭球分布下，其抽样分布与高斯分布下的分布一致，如命题 4 所证明。
• 在 GTEX 基因表达数据上的实证验证表明，RSVP 在富集生物相关通路和构建准确的基因网络方面优于现有方法。