[论文解读] Slicing: Nonsingular Estimation of High Dimensional Covariance Matrices Using Multiway Kronecker Delta Covariance Structures

Deniz Akdemir|arXiv (Cornell University)|Apr 10, 2011

Blind Source Separation Techniques参考文献 3被引用 3

一句话总结

本文提出了一种名为'slicing'的方法，通过假设多路Kronecker delta结构，实现对高维协方差矩阵的非奇异估计，从而减少参数数量，并在N << p时仍能保证可逆性。该方法利用多路数组代数和Kronecker积分解，模拟和基因表达数据均表明其估计稳定且准确，并在分类任务中表现更优（误分类率为11.3%）。

ABSTRACT

Nonsingular estimation of high dimensional covariance matrices is an important step in many statistical procedures like classification, clustering, variable selection an future extraction. After a review of the essential background material, this paper introduces a technique we call slicing for obtaining a nonsingular covariance matrix of high dimensional data. Slicing is essentially assuming that the data has Kronecker delta covariance structure. Finally, we discuss the implications of the results in this paper and provide an example of classification for high dimensional gene expression data.

研究动机与目标

• 解决高维数据中N << p时样本协方差矩阵奇异的问题。
• 开发一种方法，用于估计非奇异、可逆的协方差矩阵，以应用于分类、聚类和变量选择。
• 利用多路Kronecker delta结构，大幅减少高维协方差估计中的参数数量。
• 通过模拟和真实基因表达数据应用，证明该方法的有效性。
• 探索通过稀疏诱导惩罚（如GLASSO）进行扩展，以提升变量选择能力和模型简洁性。

提出的方法

• 假设高维数据服从具有多路Kronecker delta协方差结构的数组变量正态分布。
• 应用多线性代数和R-矩阵乘法，高效表示和估计协方差结构。
• 利用逆Kronecker积及Kronecker积的性质，将协方差矩阵分解为可分离的分量。
• 采用四步估计算法：数据数组切片、分量协方差矩阵估计、通过Kronecker积组合，以及缩放。
• 通过在单个Kronecker分量上应用收缩惩罚，集成GLASSO包以实现稀疏估计。
• 按方差对变量排序，并对高方差分量应用GLASSO，以增强稀疏性和可解释性。

实验结果

研究问题

• RQ1 在N << p的高维设置下，Kronecker delta结构能否有效用于生成非奇异协方差估计？
• RQ2 在高维、小样本条件下，slicing与标准样本协方差估计相比，在稳定性和准确性方面表现如何？
• RQ3 切片维度的选择（如2×12与3×8）以及变量排序在多大程度上影响估计性能？
• RQ4 将稀疏诱导惩罚（如GLASSO）整合后，能否提升高维数据中的变量选择和分类准确性？
• RQ5 在真实世界应用（如基因表达分类）中，slicing方法表现如何？

主要发现

• 即使在N << p条件下，slicing仍能产生稳定且非奇异的协方差估计，模拟结果中p = 120，N = 10, 50, 100时表现良好。
• 该方法准确恢复了具有Kronecker delta结构的单位矩阵和分块对角协方差结构，真实与估计矩阵的热图对比显示了良好匹配。
• 在Alon结肠癌数据集中，使用slicing估计的协方差矩阵进行线性判别分析，误分类率为11.3%。
• 在切片后对高方差分量应用GLASSO，分类误差略微上升至12.9%，但揭示了高方差基因之间具有更强的相关性。
• 低方差分量内部相关性极低，但与高方差分量存在轻微相关性，表明存在分层依赖结构。
• 通过Kronecker分解利用可分离协方差结构，该方法实现了有效的降维和参数效率。