[论文解读] Semiparametric posterior limits under local asymptotic exponentiality

B. J. K. Kleijn, Bartek Knapik|arXiv (Cornell University)|Oct 23, 2012

Statistical Methods and Inference参考文献 43被引用 12

一句话总结

本文在局部渐近指数性（LAE）条件下，建立了半参数贝叶斯推断的伯恩斯坦-冯·米塞斯渐近理论，表明当估计密度中的不连续点时，后验分布会集中在指数极限上。研究证明，基于极限后验的贝叶斯点估计量可达到极小极大风险，优于在具有跳跃不连续性的奇异模型中效率低下的经典最大似然估计量。

ABSTRACT

Consider semiparametric models that display local asymptotic exponentiality (Ibragimov and Has'minskii (1981)), an asymptotic property of the likelihood associated with discontinuities of densities. Our interest goes to estimation of the location of such discontinuities while other aspects of the density form a nuisance parameter. It is shown that under certain conditions on model and prior, the posterior distribution displays Bernstein-von Mises-type asymptotic behaviour, with exponential distributions as the limiting sequence. In contrast to regular settings, the maximum likelihood estimator is inefficient under this form of irregularity. However, Bayesian point estimators based on the limiting posterior distribution attain the minimax risk. Therefore, the limiting behaviour of the posterior is used to advocate efficiency of Bayesian point estimation rather than compare it to frequentist estimation procedures based on the maximum likelihood estimator. Results are applied to semiparametric LAE location and scaling examples.

研究动机与目标

• 在由于密度不连续性导致的似然函数奇异的半参数模型中，建立贝叶斯估计量的渐近频率最优性。
• 分析在表现出局部渐近指数性（LAE）的模型中后验分布的极限行为，LAE是一种由密度中跳跃不连续性引起的奇异形式。
• 证明在温和的正则性和先验条件下，后验收敛至指数分布，从而实现高效的点估计。
• 证明基于极限后验的贝叶斯估计量即使在最大似然估计量效率低下时，也能达到极小极大风险。
• 将伯恩斯坦-冯·米塞斯理论扩展至正则性条件不满足渐近正态性的奇异半参数模型。

提出的方法

• 作者分析了似然函数表现出局部渐近指数性（LAE）的半参数模型，该性质与密度函数的不连续性相关。
• 通过基于布朗运动和反正切变换的构造，推导在确保先验支撑包含真实参数的先验下的极限后验分布。
• 关键技术在于控制真实密度与扰动密度之间的赫林格距离，以验证极限实验中的收敛条件。
• 证明依赖于密度函数及其平方根的绝对连续性，从而控制在局部扰动下似然函数的差异。
• 作者应用了Le Cam和Yang（1990）以及Ibragimov和Has’minskii（1981）的通用框架，推导极限后验分布。
• 通过控制似然比和真实参数附近收缩邻域中先验质量的行为，验证了在LAE设定下伯恩斯坦-冯·米塞斯定理的条件。

实验结果

研究问题

• RQ1 在具有密度不连续性的半参数模型中，后验分布在何种条件下收敛至指数分布？
• RQ2 在表现出局部渐近指数性的模型中，后验的渐近行为与最大似然估计量相比如何？
• RQ3 基于极限后验的贝叶斯点估计量是否能在奇异半参数模型中达到极小极大风险？
• RQ4 何种先验条件可确保在LAE设定下后验集中在真实参数附近？
• RQ5 伯恩斯坦-冯·米塞斯定理在正则性条件不满足渐近正态性时，可被多大程度地推广至此类模型？

主要发现

• 在温和的正则性和先验条件下，后验分布以总变差距离收敛至速率 $ n heta $ 的负指数分布，其支撑集为 $ (-ty, X_{(1)}] $。
• 由后验均值得到的最大似然估计量 $ ilde{ heta}_n = X_{(1)} - 1/(n heta) $，其平方风险为 $ 1/ heta^2 $，与极小极大下界一致。
• 经典最大似然估计量效率低下，其平方风险为 $ 2/ heta^2 $，而基于极限后验的贝叶斯估计量则达到了极小极大风险。
• 极限后验并非正态分布，而是指数分布，表明在LAE条件下伯恩斯坦-冯·米塞斯定理以非正态形式成立。
• 基于布朗运动的先验构造确保了先验支撑包含真实参数空间，这对后验一致性至关重要。
• 真实密度与扰动密度之间的赫林格距离被控制在 $ O(1/n) $ 以内，证实了在LAE框架下存在局部渐近正态性。