[论文解读] Wilks Theorem for penalized maximum likelihood estimators

Vladimir Spokoiny|arXiv (Cornell University)|May 2, 2012

Statistical Methods and Inference参考文献 15被引用 1

一句话总结

本文将威尔克斯定理扩展至具有二次惩罚的惩罚最大似然估计器，表明即使参数维数 p 增长或为无穷大，只要有效维数 ps 满足 ps/n ≈ 0，渐近卡方分布结果依然成立。关键贡献在于推导出依赖于 ps 而非 p 的误差界，从而在弱正则性条件下实现高维设置下的有效推断。

ABSTRACT

This paper extends the famous statistical results like Fisher Theorem and Wilks phenomenon to the penalized maximum likelihood estimation with a quadratic penalization. Spokoiny (2013a) offered a novel approach which allows to study the properties of the quasi maximum likelihood estimators for finite samples and possible model misspecification. The results from Spokoiny (2013a) also apply for a growing parameter dimension p , however under the constraint “ p/n is small”, where n is the sample size. This paper shows that in the case of the penalized maximum likelihood estimation, the results can be applied to arbitrarily large or even infinite dimension p of the parameter space. The error bounds depend on the so called effective dimension ps which can be much smaller than the true dimension p of the parameter space. We particularly show for the i.i.d. case that the results apply under the condition “ p s /n is small”. AMS 2000 Subject Classification: Primary 62F10. Secondary 62J12,62F25,62H12

研究动机与目标

• 将经典的威尔克斯定理扩展至具有二次惩罚的惩罚最大似然估计器。
• 在 p/n 可能较大或为无穷大的高维设置下，建立准最大似然估计器的渐近分布结果。
• 证明误差界依赖于有效维数 ps 而非真实维数 p。
• 将斯波科伊尼（2013a）的框架推广至在弱正则性条件下允许参数空间维数增长或为无穷大的情形。
• 为使用惩罚似然方法的高维模型推断提供理论依据。

提出的方法

• 将斯波科伊尼（2013a）针对准最大似然估计器的有限样本分析框架，应用于惩罚似然估计。
• 引入有效维数 ps 的概念，用于衡量惩罚后模型的复杂度。
• 使用二次惩罚来正则化似然函数并控制模型复杂度。
• 在 ps/n → 0 的条件下，推导出集中不等式和渐近正态性结果。
• 将结果应用于独立同分布抽样场景，以建立分布收敛性。
• 证明惩罚对数似然比统计量渐近服从自由度等于有效维数的卡方分布。

实验结果

研究问题

• RQ1 威尔克斯现象能否扩展至具有二次惩罚的惩罚最大似然估计器？
• RQ2 在高维设置下，惩罚对数似然比统计量在何种条件下收敛于卡方分布？
• RQ3 有效维数 ps 如何影响估计量的误差界和渐近分布？
• RQ4 当真实参数维数 p 增长或为无穷大，且 ps/n 较小时，推断是否仍然有效？
• RQ5 惩罚结构在多大程度上允许模型误设和有限样本有效性？

主要发现

• 即使真实维数 p 较大或为无穷大，惩罚最大似然估计器的对数似然比统计量仍表现出威尔克斯型渐近卡方分布。
• 渐近分布依赖于有效维数 ps 而非真实维数 p，而 ps 可能显著小于 p。
• 误差界以 ps 表示推导得出，确保在 ps/n → 0 条件下保持有效性。
• 结果将斯波科伊尼（2013a）的框架扩展至高维模型，允许在模型误设条件下进行推断。
• 当 ps/n 较小时，独立同分布情形满足渐近结果成立所需的正则性条件。