[论文解读] The distribution of a linear predictor after model selection: Unconditional finite-sample distributions and asymptotic approximations

Hannes Leeb|RePEc: Research Papers in Economics|Nov 7, 2006

Statistical Methods and Inference被引用 4

一句话总结

本文推导了在线性回归中经过数据驱动模型选择后线性预测器的精确有限样本分布，提供了可计算的累积分布函数（cdf）以及一种更简单的渐近近似。主要贡献在于刻画了该分布在局部备择假设下的弱极限，揭示了非一致收敛性，并识别出所有可能的累积点，表明模型选择带来的偏差远超标准正态分布的范围。

ABSTRACT

We analyze the (unconditional) distribution of a linear predictor that is constructed after a data-driven model selection step in a linear regression model. First, we derive the exact finite-sample cumulative distribution function (cdf) of the linear predictor, and a simple approximation to this (complicated) cdf. We then analyze the large-sample limit behavior of these cdfs, in the fixed-parameter case and under local alternatives.

研究动机与目标

• 推导线性回归中经过模型选择后线性预测器的精确有限样本累积分布函数（cdf）。
• 为复杂的有限样本cdf开发一种简单且一致的渐近近似。
• 分析在固定参数和局部备择假设下，无条件cdf的大样本极限行为。
• 刻画沿参数序列（特别是局部备择假设下）后模型选择cdf的所有弱极限点。
• 研究在有限样本和大样本下模型选择概率的行为，尤其在局部参数序列下。

提出的方法

• 推导正态线性模型中经模型选择后线性预测器的精确有限样本cdf，记为 $ G_{n,\theta,\sigma}(t) $。
• 引入一个‘理想化’的cdf $ G^*_{n,\theta,\sigma}(t) $，假设误差方差 $ \sigma^2 $ 已知，以简化分析并支持渐近近似。
• 采用基于逐步假设检验的“由一般到特定”模型选择程序，以确定候选模型。
• 运用弱收敛理论，刻画沿参数序列 $ \theta(n), \sigma(n) $ 的 $ G_{n,\theta(n),\sigma(n)}(t) $ 的累积点，尤其在局部备择假设下。
• 通过模型选择概率和条件cdf的展开，推导无条件cdf的渐近极限。
• 依赖Leeb [1] 和 Leeb & Pötscher [3,4] 的结果，建立收敛性质及极限行为的非一致性。

实验结果

研究问题

• RQ1 在具有正态误差的线性回归模型中，经过模型选择后线性预测器的精确有限样本分布是什么？
• RQ2 由于模型选择的存在，后模型选择估计量的无条件分布与标准正态分布有何不同？
• RQ3 在局部备择假设下，无条件cdf的渐近行为如何？与固定参数情形有何区别？
• RQ4 沿参数序列 $ \theta(n), \sigma(n) $，后模型选择cdf的所有可能弱极限点是什么？
• RQ5 模型选择概率在大样本下如何表现，尤其在局部备择假设下？

主要发现

• 精确有限样本cdf $ G_{n,\theta,\sigma}(t) $ 以闭式表达，尽管复杂，且依赖于模型选择路径。
• 基于已知 $ \sigma^2 $ 的渐近近似 $ G^*_{n,\theta,\sigma}(t) $ 在大样本中与 $ G_{n,\theta,\sigma}(t) $ 保持一致接近。
• 无条件cdf表现出对大样本极限的非一致收敛，因此必须沿参数序列进行分析。
• 所有 $ G_{n,\theta(n),\sigma(n)}(t) $ 的弱极限点均被刻画，且表明局部备择假设足以捕获所有可能的极限。
• 极限分布为条件cdf的凸组合，权重为渐近模型选择概率，即使当 $ \theta_{p^*} $ 为无穷大时，极限仍非退化。
• 公式 (5.1) 中的极限cdf是正态与非正态成分的混合，反映出模型选择对统计推断的影响。