[论文解读] Penalized quasi likelihood estimation for variable selection

Yoshiki Kinoshita, Nakahiro Yoshida|arXiv (Cornell University)|Oct 28, 2019

Statistical Methods and Inference参考文献 18被引用 5

一句话总结

本文提出了一种用于随机微分方程模型中变量选择的惩罚似然方法，利用多项式型大偏差不等式（PLDI）确保矩收敛性和渐近稳定性。研究证明，惩罚项不会破坏PLDI，从而实现一致的变量选择和估计量的渐近正态性，仿真结果证实随着样本量增加，模型选择的准确性显著提高。

ABSTRACT

Penalized methods are applied to quasi likelihood analysis for stochastic differential equation models. In this paper, we treat the quasi likelihood function and the associated statistical random field for which a polynomial type large deviation inequality holds. Then penalty terms do not disturb a polynomial type large deviation inequality. This property ensures the convergence of moments of the associated estimator which plays an important role to evaluate the upper bound of the probability that model selection is incorrect.

研究动机与目标

• 建立基于惩罚似然的随机微分方程模型变量选择的理论框架。
• 证明在惩罚似然分析中，惩罚项能够保持多项式型大偏差不等式（PLDI）。
• 在PLDI条件下确保惩罚估计量的矩收敛性，从而实现可靠的渐近推断。
• 通过高维参数选择的随机波动率回归模型仿真验证该方法。
• 证明随着样本量增加，估计量选择正确模型的概率趋于1。

提出的方法

• 使用惩罚似然估计量，定义为负似然函数加上惩罚项的最小化，包括Lasso、Bridge和自适应Lasso。
• 将多项式型大偏差不等式（PLDI）应用于惩罚对比函数，以控制尾部行为并确保矩收敛性。
• 证明惩罚项不会破坏PLDI，从而保持一致可积性和渐近稳定性。
• 采用局部渐近二次（LAQ）条件推导似然随机场的PLDI。
• 在仿真中使用局部二次近似（LQA）进行优化，尤其适用于SCAD等非凸惩罚。
• 在较弱的正则性条件下推导估计量的分布收敛性和矩收敛性。

实验结果

研究问题

• RQ1 在引入惩罚项后，惩罚似然估计是否仍能保持多项式型大偏差不等式（PLDI）？
• RQ2 惩罚估计量在随机微分方程模型中是否能实现一致的变量选择？
• RQ3 惩罚似然估计量的渐近行为如何，特别是在矩收敛性和分布极限方面？
• RQ4 在有限样本仿真中，模型选择概率如何随样本量增加而变化？
• RQ5 所提出的方法能否在保持理论保证的前提下处理SCAD或MCP等非凸惩罚？

主要发现

• 惩罚项不会破坏多项式型大偏差不等式（PLDI），从而确保估计量的一致可积性和矩收敛性。
• 在LAQ条件下，估计量实现渐近正态性和矩收敛性，支持可靠的推断。
• 在随机波动率回归模型中，选择正确模型的概率从n=1000时的0.591提高到n=10000时的0.998。
• 选择过度模型（错误地包含零参数）的概率从n=1000时的0.606下降到n=10000时的1.0。
• 非零参数的偏差随样本量显著减小，惩罚估计量中从n=1000时的0.396降至n=10000时的0.077。
• 惩罚估计量实现了高精度的模型选择，n=2000时正确模型选择概率为98.9%，n=10000时达到99.8%。