[论文解读] Positive-shrinkage and Pretest Estimation in Multiple Regression: A Monte Carlo study with Applications

SM Enayetur Raheem, S. Ejaz Ahmed|arXiv (Cornell University)|Sep 12, 2011

Advanced Statistical Methods and Models参考文献 13被引用 4

一句话总结

本文在关于无关协变量的先验信息不确定的条件下，比较了多重线性回归中的正收缩估计量与预检估计量。通过蒙特卡洛模拟和真实数据，结果表明正收缩估计量在先验信息不确定性变化时均保持稳定的性能，优于预检估计量和无约束估计量，尤其在干扰子集较大时表现更优。

ABSTRACT

Consider a problem of predicting a response variable using a set of covariates in a linear regression model. If it is \emph{a priori} known or suspected that a subset of the covariates do not significantly contribute to the overall fit of the model, a restricted model that excludes these covariates, may be sufficient. If, on the other hand, the subset provides useful information, shrinkage method combines restricted and unrestricted estimators to obtain the parameter estimates. Such an estimator outperforms the classical maximum likelihood estimators. Any \emph{prior} information may be validated through preliminary test (or pretest), and depending on the validity, may be incorporated in the model as a parametric restriction. Thus, pretest estimator chooses between the restricted and unrestricted estimators depending on the outcome of the preliminary test. Examples using three real life data sets are provided to illustrate the application of shrinkage and pretest estimation. Performance of positive-shrinkage and pretest estimators are compared with unrestricted estimator under varying degree of uncertainty of the prior information. Monte Carlo study reconfirms the asymptotic properties of the estimators available in the literature.

研究动机与目标

• 评估在关于无关协变量的先验信息不确定时，正收缩估计量与预检估计量在多重回归中的表现。
• 在先验信息不确定性程度不同的条件下，将这些估计量与无约束最大似然估计量进行比较。
• 通过蒙特卡洛模拟，评估这些估计量在模型误设情况下的稳健性。
• 通过三个具有不同协变量结构的真实数据示例，展示其实际适用性。
• 研究当真实参数值偏离受限模型假设时，估计量的相对风险表现。

提出的方法

• 使用一个线性回归模型，其中假设部分协变量在先验上为非信息性，从而构成一个受限模型。
• 通过一个收缩因子将无约束估计量与受限估计量结合，实现正收缩估计，以避免负系数估计。
• 采用预检估计，基于对子集系数为零的原假设的初步F检验，在受限估计量和无约束估计量之间进行选择。
• 通过蒙特卡洛模拟，改变对原假设的偏离程度（以Δ参数化），评估风险表现。
• 计算估计量相对于无约束估计量的相对均方误差（RMSE），以评估在模型误设情况下的表现。
• 在真实数据集中使用重复交叉验证来估计预测误差，并通过实证方法验证估计量的表现。

实验结果

研究问题

• RQ1 在先验信息不确定性变化时，正收缩估计量与预检估计量相对于无约束估计量的风险表现如何比较？
• RQ2 当真实参数值偏离受限模型（Δ > 0）时，受限估计量、预检估计量与正收缩估计量的行为如何？
• RQ3 干扰协变量子集的大小如何影响估计量的相对表现？
• RQ4 在先验信息错误时，正收缩估计量在何种条件下优于预检估计量？
• RQ5 在已知或怀疑存在无关协变量的真实数据应用中，这些估计量的表现如何？

主要发现

• 当先验信息正确时（Δ = 0），受限估计量优于无约束估计量，这与渐近理论预期一致。
• 随着Δ增大（即真实参数偏离受限模型），受限估计量的风险无界增加。
• 随着Δ增大，预检估计量的风险增长速度甚至快于受限估计量，且在模型误设时趋于无界。
• 正收缩估计量表现出最稳定的风崄表现，其风险随Δ增加而衰减最慢，并在广泛的备择参数空间中保持低风险。
• 当干扰子集较大时，正收缩估计量在RMSE方面始终优于预检估计量和无约束估计量。
• 在真实数据应用中，当模型正确设定时，预检估计量和受限估计量表现出更优的预测误差性能，但在模型误设时其性能迅速下降，而正收缩估计量则保持稳定。