[论文解读] Statistical models, likelihood, penalized likelihood and hierarchical likelihood

Daniel Commenges|ArXiv.org|Aug 29, 2008

Advanced Statistical Methods and Models参考文献 26被引用 3

一句话总结

本文提供了统计学中似然推断的基础概述，重点关注经典、惩罚似然和层次似然方法。它建立了这些方法与Kullback-Leibler散度之间的联系，证明了惩罚似然与Sieve估计量之间的等价性，并探讨了其与贝叶斯MAP估计的关系，特别强调了在参数化不变性方面此类识别所面临的挑战。

ABSTRACT

We give an overview of statistical models and likelihood, together with two of its variants: penalized and hierarchical likelihood. The Kullback-Leibler divergence is referred to repeatedly, for defining the misspecification risk of a model, for grounding the likelihood and the likelihood crossvalidation which can be used for choosing weights in penalized likelihood. Families of penalized likelihood and sieves estimators are shown to be equivalent. The similarity of these likelihood with a posteriori distributions in a Bayesian approach is considered.

研究动机与目标

• 阐明统计模型与似然的理论基础，特别是其与Kullback-Leibler散度的关系。
• 考察惩罚似然在引入平滑性约束中的作用，并证明其与Sieve估计量的等价性。
• 研究基于似然的推断与贝叶斯MAP估计之间的联系，尤其关注参数化不变性问题。
• 评估似然交叉验证和AIC类准则在模型与估计器选择中的应用。

提出的方法

• 采用扩展的Kullback-Leibler散度公式，显式考虑σ-代数，将其与模型误设风险联系起来。
• 通过Radon-Nikodym导数和条件期望的视角定义似然与惩罚似然。
• 通过函数逼近证明惩罚似然估计量族与Sieve估计量族之间的等价性。
• 应用似然交叉验证和AIC型准则来估计Kullback-Leibler风险，以经验期望替代真实分布下的期望。
• 探讨在特定先验下，最大似然与惩罚似然估计量与MAP估计量的识别，特别是平坦先验和Jeffreys先验。
• 强调MAP估计量在重新参数化下不具有不变性，从而挑战了惩罚似然与贝叶斯MAP之间直接等价性的成立。

实验结果

研究问题

• RQ1 Kullback-Leibler散度如何作为统计模型与基于似然的估计量风险评估的基础？
• RQ2 惩罚似然与Sieve估计量在数学与概念上存在何种等价性？
• RQ3 最大惩罚似然估计量能否被解释为MAP估计量？这种解释存在哪些局限性？
• RQ4 如何利用似然交叉验证基于Kullback-Leibler风险选择最优估计量或模型？
• RQ5 参数化依赖性对将基于似然的估计量与贝叶斯MAP估计量进行识别有何影响？

主要发现

• 惩罚似然估计量与Sieve估计量构成等价族，为非参数平滑与正则化之间建立了理论桥梁。
• Kullback-Leibler散度是最大似然估计、AIC与似然交叉验证所依赖的根本风险度量。
• 通过以经验分布替代真实期望，似然交叉验证可估计Kullback-Leibler风险，从而实现实际的模型选择。
• 最大惩罚似然估计量可在特定先验下被解释为MAP估计量，但该等价性在重新参数化下会因先验不不变而失效。
• Jeffreys先验虽在重新参数化下保持不变，但会使MAP估计量偏离MLE，表明平坦先验与MLE在参数变换下并不等价。
• 本文结论认为，尽管似然估计量与贝叶斯MAP估计量关系密切，但由于缺乏参数化不变性，其识别关系的强度受到限制。