[论文解读] On Principal Component Regression in a High-Dimensional Error-in-Variables Setting.

Anish Agarwal, Devavrat Shah+1 more|arXiv (Cornell University)|Oct 27, 2020

Statistical Methods and Inference参考文献 30被引用 4

一句话总结

本文研究了在高维错误变量模型中主成分回归（PCR）的表现，其中协变量受噪声污染且存在缺失值，且协变量数量超过样本量。研究证明PCR能一致地估计最小 $β_2$-范数解，并在即使外部样本协变量与样本内协变量分布不一致的情况下，为估计和样本外预测提供了非渐近误差率。

ABSTRACT

We analyze the classical method of principal component regression (PCR) in a high-dimensional error-in-variables setting. Here, the observed covariates are not only noisy and contain missing values, but the number of covariates can also exceed the sample size. Under suitable conditions, we establish that PCR identifies the unique linear model parameter with minimum $\ell_2$-norm, and derive non-asymptotic $\ell_2$-rates of convergence that show its consistency. Furthermore, we develop an algorithm for out-of-sample predictions in the presence of corrupted data that uses PCR as a key subroutine, and provide its non-asymptotic prediction performance guarantees. Notably, our results do not require the out-of-samples covariates to follow the same distribution as that of the in-sample covariates, but rather that they obey a simple linear algebraic constraint. We provide simulations that illustrate our theoretical results.

研究动机与目标

• 理解主成分回归（PCR）在协变量存在噪声和缺失值的高维设置下的行为。
• 在高维错误变量模型下，建立PCR估计最小 $β_2$-范数解的理论一致性。
• 为外部样本数据开发一种预测算法，即使外部样本协变量与样本内协变量分布不一致，该算法仍保持有效。
• 在最小分布假设下，推导PCR估计与预测的非渐近 $β_2$-范数误差率。

提出的方法

• 该方法在高维错误变量框架下分析PCR，其中观测到的协变量受噪声污染且可能存在缺失值。
• 研究证明，在设计矩阵和误差结构满足适当正则性条件时，PCR能识别出唯一的最小 $β_2$-范数解。
• 论文推导了PCR估计量的非渐近 $β_2$-范数收敛速率，表明即使在 $p > n$ 的情况下仍具有一致性。
• 提出了一种基于PCR的外部样本预测算法，并在外部样本协变量满足线性代数约束的条件下提供了性能保证。
• 理论分析依赖于高维随机矩阵理论和集中不等式，以控制估计误差。
• 该方法不要求外部样本协变量与样本内协变量服从相同分布，仅需满足一个简单的线性代数条件。

实验结果

研究问题

• RQ1 在协变量存在噪声和缺失值的高维错误变量模型中，PCR能否一致地估计最小 $β_2$-范数解？
• RQ2 在 $p > n$ 的高维设置下，PCR估计的非渐近 $β_2$-范数误差率是什么？
• RQ3 当外部样本协变量与样本内协变量分布不一致时，PCR能否可靠地用于外部样本预测？
• RQ4 外部样本数据需满足何种条件，才能确保使用PCR作为子程序时预测性能有效？
• RQ5 在高维错误变量模型中，PCR的理论误差界如何依赖于噪声水平、维度和样本大小？

主要发现

• 在高维错误变量模型中，PCR在满足适当正则性条件时，能一致地估计唯一的最小 $β_2$-范数解。
• 推导出PCR估计的非渐近 $β_2$-范数误差率，表明即使协变量数量超过样本量，估计仍具有一致性。
• 基于PCR的预测算法在外部样本协变量满足线性代数约束的条件下，实现了非渐近性能保证，且无需分布相似性假设。
• 理论界不依赖于外部样本协变量与样本内协变量服从相同分布，仅依赖于一个结构性条件。
• 模拟结果验证了理论预测，表明PCR对噪声、缺失数据和高维性的鲁棒性。
• 研究结果为在数据受污染的高维设置中使用PCR提供了理论基础，将其适用范围扩展至经典i.i.d.假设之外。