[论文解读] Semiparametric Bernstein-von Mises Theorem: Second Order Studies

Yun Yang, Guang Cheng+1 more|arXiv (Cornell University)|Mar 16, 2015

Statistical Methods and Inference参考文献 28被引用 5

一句话总结

本文建立了二阶半参数 Bernstein-von Mises 定理，表明参数分量后验推断的频率学派准确性随着对非参数干扰函数的贝叶斯估计精度提高而提升。本文提出了一类新的依赖先验，确保二阶频率学派有效性并能自适应于非参数分量的光滑性，优于在弱正则性假设下可能失效的标准独立先验。

ABSTRACT

The major goal of this paper is to study the second order frequentist properties of the marginal posterior distribution of the parametric component in semiparametric Bayesian models, in particular, a second order semiparametric Bernstein-von Mises (BvM) Theorem. Our first contribution is to discover an interesting interference phenomenon between Bayesian estimation and frequentist inferential accuracy: more accurate Bayesian estimation on the nuisance function leads to higher frequentist inferential accuracy on the parametric component. As the second contribution, we propose a new class of dependent priors under which Bayesian inference procedures for the parametric component are not only efficient but also adaptive (w.r.t. the smoothness of nonparametric component) up to the second order frequentist validity. However, commonly used independent priors may even fail to produce a desirable root-n contraction rate for the parametric component in this adaptive case unless some stringent assumption is imposed. Three important classes of semiparametric models are examined, and extensive simulations are also provided.

研究动机与目标

• 研究半参数贝叶斯模型中边际后验分布的二阶频率学派性质。
• 理解干扰函数的贝叶斯估计精度与参数分量上频率学派推断精度之间的相互作用。
• 提出一类新的依赖先验，以确保二阶频率学派有效性并能自适应于非参数分量的光滑性。
• 证明在无严格假设条件下，独立先验可能无法实现参数分量的根-n 收缩速率。
• 通过三个重要半参数模型和大量模拟验证理论结果。

提出的方法

• 推导对数似然比的二阶展开，以刻画半参数 BvM 定理中余项的性质。
• 利用经验过程理论和熵界控制有效得分函数在局部参数空间上的随机波动。
• 提出一类新的依赖先验，通过再生核希尔伯特空间（RKHS）结构匹配真实函数的光滑性。
• 应用泰勒展开和中心极限定理，近似后验在有效估计量附近的集中性。
• 在总变差范数下建立边际后验与正态极限之间的收敛性，余项为 $ O_P( ho_n^2 ho_n) $ 阶，其中 $ ho_n $ 为干扰函数的后验收缩速率。
• 通过熵和利普希茨连续性论证验证条件 (A1)–(A6)，特别利用条件 $ L_2 $-范数覆盖熵和得分函数的有界变差性。

实验结果

研究问题

• RQ1 对非参数干扰函数的贝叶斯估计精度如何影响参数分量上后验推断的频率学派有效性？
• RQ2 能否构造一类依赖先验，以确保二阶频率学派有效性并能自适应于非参数分量的光滑性？
• RQ3 为何常用独立先验在自适应设置下，若无强假设，则无法实现参数分量的根-n 收缩速率？
• RQ4 半参数 Bernstein-von Mises 定理中余项的衰减速率是多少？它与干扰函数后验收缩速率有何关系？
• RQ5 理论结果在不同半参数模型（如部分线性模型和当前状态 Cox 模型）中的适用程度如何？

主要发现

• 半参数 BvM 定理中的二阶余项为 $ O_{P}( ho_n^2 ho_n) $ 阶，最多含对数因子，其中 $ ho_n $ 为干扰函数的后验收缩速率。
• 建立了干扰现象：对干扰函数的贝叶斯估计越精确，参数分量上的频率学派推断准确性越高。
• 所提出的依赖先验类即使在独立先验于弱正则性条件下可能失效时，仍能实现二阶频率学派有效性和对非参数分量光滑性的自适应性。
• 在部分线性模型中，当使用适当的高斯过程先验时，后验收缩速率 $ ho_n = n^{-rac{eta}{2eta + d}} ( ext{log} hinspace n)^{rac{1}{2}} $ 几乎达到最小最大最优。
• 参数分量的可信集实现了由 $ ho_n $ 决定的二阶频率学派有效性，证实了非参数估计精确性的重要性。
• 通过在三个关键半参数模型（包括当前状态 Cox 模型和部分线性模型）上的大量模拟，验证了理论结果。