[论文解读] Schwarz type model comparison for LAQ models

Shoichi Eguchi, H. Masuda|arXiv (Cornell University)|Jun 6, 2016

Bayesian Methods and Mixture Models参考文献 31被引用 3

一句话总结

本文提出了一种准贝叶斯信息准则（QBIC），用于在局部渐近二次（LAQ）模型中进行模型选择，将施瓦茨的BIC扩展至非遍历性和依赖性数据模型，且其渐近信息矩阵为随机的模型。该方法基于边际准似然的随机展开，证明了在一般LAQ条件下模型选择的一致性，包括遍历扩散过程和非遍历过程。

ABSTRACT

For model-specification purpose, we study asymptotic behavior of the marginal quasi-log likelihood associated with a family of locally asymptotically quadratic (LAQ) statistical experiments. Our result entails a far-reaching extension of applicable scope of the classical approximate Bayesian model comparison due to Schwarz, with frequentist-view theoretical foundation. In particular, the proposed statistics can deal with both ergodic and non-ergodic stochastic-process models, where the corresponding $M$-estimator is of multi-scaling type and the asymptotic quasi-information matrix is random. Focusing on the ergodic diffusion model, we also deduce the consistency of the multistage optimal-model selection where we may select an optimal sub-model structure step by step, so that computational cost can be much reduced. We illustrate the proposed method by the Gaussian quasi-likelihood for diffusion-type models in details, together with several numerical experiments.

研究动机与目标

• 将经典的施瓦茨BIC扩展至更广泛的统计模型类别，特别是具有依赖性或非遍历数据结构的模型。
• 为局部渐近二次（LAQ）模型中的贝叶斯模型比较提供一个频率学派基础，其中渐近信息矩阵可能是随机的。
• 建立一个基于准似然的统一模型选择框架，即使在模型误设或存在无限维冗余参数的情况下仍保持有效性。
• 在遍历扩散模型中建立多阶段模型选择的一致性，通过顺序结构选择降低计算成本。
• 将现有信息准则推广，以处理具有多尺度M估计量和随机极限费雪信息的随机过程。

提出的方法

• 利用多项式型大偏差不等式（PLDI）推导边际准似然的渐近展开，从而在渐近信息矩阵为随机的情况下实现分析。
• 基于随机展开提出一种准贝叶斯信息准则（QBIC），包含观测信息矩阵和对数行列式项。
• 将QBIC应用于扩散型模型的高斯准似然，确保在LAQ结构下具有理论有效性。
• 在遍历扩散模型中采用两阶段选择程序，通过顺序选择子模型以减轻计算负担。
• 引入缩放参数 $ a_n $ 以处理M估计量的多尺度行为，其渐近分布通过归一化得分过程推导。
• 通过证明真实模型取得最低QBIC的概率随 $ n \to \infty $ 收敛于1，建立模型选择的一致性。

实验结果

研究问题

• RQ1 是否可以将施瓦茨型模型比较扩展至渐近费雪信息矩阵为随机的非遍历随机过程？
• RQ2 所提出的QBIC在具有多尺度M估计量和随机极限信息的LAQ模型中是否保持一致性？
• RQ3 在遍历扩散模型中，多阶段模型选择是否可一致地应用以降低计算成本？
• RQ4 QBIC在模型误设或具有无限维参数的半参数设定下的表现如何？
• RQ5 在非i.i.d.设定（如非平稳时间序列或协积模型）中，经典BIC形式是否可恢复？

主要发现

• 所提出的QBIC在满足温和正则性条件时，对LAQ模型实现了模型选择的一致性，即使渐近信息矩阵为随机的亦成立。
• 对于遍历扩散模型，多阶段最优模型选择程序具有一致性，随着样本量增加，选择真实模型的概率收敛于1。
• QBIC渐近逼近边际准似然，且在真实模型下，不同模型间差异的概率收敛于负值。
• 该方法将经典BIC推广至非遍历性和依赖性数据模型，包括协积和非平稳时间序列模型，而此前的标准准则在这些情形下失效。
• 准似然的渐近展开依赖于PLDI，使得即使观测信息矩阵依分布收敛于随机极限，也能推导出QBIC。
• 数值实验验证了QBIC在高斯准似然设定下的有效性，展示了其在各种模型结构下的稳健性和一致性。