[论文解读] Prediction error after model search

Xiaoying Tian Harris|arXiv (Cornell University)|Oct 19, 2016

Statistical Methods and Inference参考文献 14被引用 6

一句话总结

本文提出了一种在数据驱动模型选择后对线性模型预测误差的渐近无偏估计器，适用于最佳子集选择和松弛Lasso等一般选择程序。该估计器在无需选择规则的解析表达式或线性模型假设的前提下，实现了$O(n^{-1/2})$的$L^2$收敛速率，将Stein无偏风险估计器（SURE）的适用范围扩展至不连续估计器。

ABSTRACT

Estimation of the prediction error of a linear estimation rule is difficult if the data analyst also use data to select a set of variables and construct the estimation rule using only the selected variables. In this work, we propose an asymptotically unbiased estimator for the prediction error after model search. Under some additional mild assumptions, we show that our estimator converges to the true prediction error in $L^2$ at the rate of $O(n^{-1/2})$, with $n$ being the number of data points. Our estimator applies to general selection procedures, not requiring analytical forms for the selection. The number of variables to select from can grow as an exponential factor of $n$, allowing applications in high-dimensional data. It also allows model misspecifications, not requiring linear underlying models. One application of our method is that it provides an estimator for the degrees of freedom for many discontinuous estimation rules like best subset selection or relaxed Lasso. Connection to Stein's Unbiased Risk Estimator is discussed. We consider in-sample prediction errors in this work, with some extension to out-of-sample errors in low dimensional, linear models. Examples such as best subset selection and relaxed Lasso are considered in simulations, where our estimator outperforms both $C_p$ and cross validation in various settings.

研究动机与目标

• 为解决使用相同数据进行模型选择和估计时预测误差估计的挑战（一种常见但分析困难的情形）
• 开发一种适用于任意选择程序的通用估计器，无需选择规则的显式解析表达式
• 将Stein无偏风险估计器（SURE）的适用范围扩展至非光滑、不连续的估计规则（如最佳子集选择和松弛Lasso）
• 在预测变量数量可随样本量指数增长的高维设定下，提供预测误差的一致且渐近无偏估计器
• 在模型误设条件下建立收敛速率和鲁棒性的理论保证

提出的方法

• 该方法通过向响应向量$y$添加一个小的独立零均值高斯噪声$\omega \sim N(0, \alpha \sigma^2 I)$来扰动，然后估计预测误差关于扰动方差的导数。
• 使用分段常数估计器$\hat{\mu}(y) = H_{\hat{M}(y)} y$，其中$H_{\hat{M}}$是所选变量列空间上的投影矩阵，$\hat{M}(y)$是依赖于数据的模型选择规则。
• 关键估计量来源于$y$和$y + \omega$之间预测误差期望的差异，经扰动方差归一化，从而得到预测误差的无偏估计。
• 理论依据在于对扰动分布$u \sim N(\mu, \tau I)$下的预测误差进行微分，并利用矩假设和浓度不等式对导数进行有界控制。
• 假设选择规则$\hat{M}(y)$仅通过所选模型$M$依赖于$y$，从而可使用投影矩阵的有限混合形式。
• 在较弱的正则性条件下（包括矩的有界性和模型数量的对数增长），该方法建立了估计器在$L^2$范数下以$O(n^{-1/2})$速率收敛于真实预测误差。

实验结果

研究问题

• RQ1 当模型选择规则依赖于数据，且由此产生的估计器不连续时，能否构造出预测误差的无偏估计器？
• RQ2 所提出的估计器在一般选择程序下是否保持一致，并实现$O(n^{-1/2})$的$L^2$收敛速率？
• RQ3 该估计器能否应用于预测变量数量随样本量指数增长的高维设定？
• RQ4 与$C_p$和交叉验证等经典方法相比，该估计器在准确性和一致性方面表现如何？
• RQ5 该估计器在模型误设情形下（即真实均值函数非线性）的可扩展性如何？

主要发现

• 在较弱的矩和模型增长假设下，所提出的估计器是渐近无偏的，并以$O(n^{-1/2})$的$L^2$收敛速率收敛于真实预测误差。
• 该方法适用于一般选择程序，包括最佳子集选择和松弛Lasso，且无需选择规则的解析表达式。
• 估计器允许潜在模型数量作为$n$的指数函数增长，从而使其适用于高维设定。
• 该方法为不连续估计规则（如最佳子集选择）提供了有效的自由度估计器，而传统基于SURE的方法在这些情况下会失效。
• 模拟结果表明，该估计器在高维和稀疏设定下，其准确性和一致性均优于$C_p$和交叉验证。
• 该理论框架通过基于扰动的导数估计方法，将Stein无偏风险估计器扩展至非光滑估计器。