[论文解读] Spectral Deconfounding via Perturbed Sparse Linear Models

Domagoj Ćevid, Peter Bühlmann+1 more|arXiv (Cornell University)|Nov 13, 2018

Statistical Methods and Inference参考文献 33被引用 18

一句话总结

本文提出了一种谱去混杂方法，通过应用扰动稀疏线性模型框架，在存在未观测混杂因素的高维线性模型中改进Lasso估计。通过使用谱变换（特别是新颖的Trim变换）对设计矩阵进行变换，即使存在混杂因素，也能实现最优的Lasso $β$-估计误差率，其在有限样本中优于标准PCA调整和Puffer变换。

ABSTRACT

Standard high-dimensional regression methods assume that the underlying coefficient vector is sparse. This might not be true in some cases, in particular in presence of hidden, confounding variables. Such hidden confounding can be represented as a high-dimensional linear model where the sparse coefficient vector is perturbed. For this model, we develop and investigate a class of methods that are based on running the Lasso on preprocessed data. The preprocessing step consists of applying certain spectral transformations that change the singular values of the design matrix. We show that, under some assumptions, one can achieve the optimal $\ell_1$-error rate for estimating the underlying sparse coefficient vector. Our theory also covers the Lava estimator (Chernozhukov et al. [2017]) for a special model class. The performance of the method is illustrated on simulated data and a genomic dataset.

研究动机与目标

• 解决高维回归中未观测混杂因素的挑战，其中混杂因素会导致原本稀疏的系数向量产生密集扰动。
• 克服标准Lasso在存在混杂因素时的局限性，因为虚假相关性会导致估计和变量选择性能下降。
• 提出一种谱变换的一般框架，通过重新加权设计矩阵的奇异值来实现去混杂回归问题。
• 为在混杂因素存在下实现最优Lasso $β$-估计误差率提供理论依据，即使真实系数向量并非完全稀疏。
• 证明所提出的方法，特别是Trim变换，可避免预先指定混杂成分数量的需求，这与基于PCA的方法形成对比。

提出的方法

• 对设计矩阵 $X$ 和响应向量 $Y$ 应用谱变换矩阵 $F$ 进行预处理，通过改变 $X$ 的奇异值来保持其列空间结构。
• 该变换 $F$ 被构造为压缩较大的奇异值，其中引入了新颖的Trim变换，即把超过阈值的奇异值设为零。
• 将变换后的数据 $(F Y, F X)$ 输入Lasso进行估计，利用谱预处理可减轻混杂因素引起的相关性影响。
• 理论分析基于相容性条件和集中不等式，表明变换后的设计矩阵仍保持有利于高维估计的良好性质。
• 该方法被证明在特定模型类下等价于Lava估计器，从而扩展了其理论依据。
• 理论保证通过随机矩阵理论以及对变换后设计矩阵相容性常数的界推导得出。

实验结果

研究问题

• RQ1 在存在混杂因素的情况下，设计矩阵的谱变换能否恢复最优Lasso $β$-估计误差率？
• RQ2 所提出的谱去混杂方法在性能上与标准PCA调整和Puffer变换相比如何？
• RQ3 Trim变换是否能消除对预先指定混杂成分数量的需求，如基于PCA的方法所要求的那样？
• RQ4 在何种条件下，变换后设计矩阵的相容性常数能保持远离零，从而确保一致估计？
• RQ5 所提出框架能否在理论上与现有方法（如Lava估计器）建立联系？

主要发现

• Trim变换在存在混杂因素时实现了最优Lasso $β$-估计误差率，与稀疏模型的极小极大率一致。
• 在有限样本中，该方法优于Puffer变换，尤其当样本量接近预测变量数量时表现更优。
• 理论分析表明，变换后设计矩阵的相容性常数以高概率保持远离零，从而支持一致估计。
• Trim变换无需估计混杂成分数量，这与基于PCA的调整形成鲜明对比，具有显著的实际优势。
• 在特定模型类下，该方法在理论上等价于Lava估计器，为Lava估计器在谱框架下的新解释与理论支持提供了依据。
• 在模拟数据和基因组数据上的实证结果表明，Trim变换在混杂因素存在时能提升变量选择和估计精度，尤其在混杂成分数量未知时表现更优。