[论文解读] On Limiting Likelihood Ratio Processes of some Change-Point Type Statistical Models

Sergueï Dachian|arXiv (Cornell University)|Jul 2, 2009

Statistical Methods and Inference参考文献 19被引用 15

一句话总结

本文研究了变化点模型中的极限似然比过程，表明当参数较小时，泊松驱动的过程可近似为布朗运动驱动的过程。因此，此类模型中贝叶斯估计量与最大似然估计量的极限方差和渐近效率可借助更简单的布朗运动框架进行近似，数值模拟结果证实了当参数趋于零或无穷大时，这些量收敛至已知常数。

ABSTRACT

Different change-point type models encountered in statistical inference for stochastic processes give rise to different limiting likelihood ratio processes. In this paper we consider two such likelihood ratios. The first one is an exponential functional of a two-sided Poisson process driven by some parameter, while the second one is an exponential functional of a two-sided Brownian motion. We establish that for sufficiently small values of the parameter, the Poisson type likelihood ratio can be approximated by the Brownian type one. As a consequence, several statistically interesting quantities (such as limiting variances of different estimators) related to the first likelihood ratio can also be approximated by those related to the second one. Finally, we discuss the asymptotics of the large values of the parameter and illustrate the results by numerical simulations.

研究动机与目标

• 分析非正则变化点模型中似然比过程的极限行为，特别是来自具有不连续密度的独立同分布样本的情形。
• 建立小参数值下泊松驱动与布朗运动驱动的极限似然比过程之间的联系。
• 利用布朗运动近似，近似贝叶斯估计量与最大似然估计量的关键统计量（如极限方差和渐近效率）。
• 通过数值模拟研究这些估计量在模型参数趋于零或无穷大时的渐近行为。
• 通过每参数值进行 $ 10^7 $ 次复制的大量蒙特卡洛模拟验证理论近似。

提出的方法

• 推导出极限似然比过程 $ Z_{\rho}(x) $，其为具有依赖于 $ \rho $ 的强度的双侧泊松过程的指数泛函，代表变化点模型的渐近似然比。
• 引入随机变量 $ \theta_{\rho} $ 和 $ \rho_{\rho} $，分别定义为 $ Z_{\rho}(x) $ 的均值和众数，对应于贝叶斯估计量与最大似然估计量的极限分布。
• 证明当 $ \rho $ 较小时，基于泊松的过程 $ Z_{\rho} $ 弱收敛于基于布朗运动的过程，从而可近似极限方差 $ B_{\rho} = \mathbb{E}[\zeta_{\rho}^2] $ 和 $ M_{\rho} = \mathbb{E}[\xi_{\rho}^2] $。
• 利用大偏差技术与矩界证明随机支配关系，表明泊松过程的尾部概率相比布朗运动过程超出一个随 $ \rho \to 0 $ 而趋于零的因子。
• 采用 $ 10^7 $ 次复制的数值模拟来估计 $ B_{\rho} $、$ M_{\rho} $ 和 $ E_{\rho} = B_{\rho}/M_{\rho} $，验证渐近近似结果。
• 应用更新理论与泊松过程性质（包括 $ \sup_t (-\Pi(t) + t) $ 的分布）来界定指数矩，支持近似结果。

实验结果

研究问题

• RQ1 在小参数值下，变化点模型中的泊松驱动极限似然比过程能否被布朗运动驱动的过程近似？
• RQ2 贝叶斯估计量与最大似然估计量的极限方差 $ B_{\rho} $ 和 $ M_{\rho} $ 分别为何？当 $ \rho \to 0 $ 或 $ \rho \to \infty $ 时，它们的行为如何？
• RQ3 最大似然估计量的渐近效率 $ E_{\rho} = B_{\rho}/M_{\rho} $ 如何随 $ \rho $ 变化？其极限值为何？
• RQ4 数值模拟在多大程度上验证了 $ B_{\rho} $、$ M_{\rho} $ 和 $ E_{\rho} $ 的理论渐近近似？
• RQ5 在小-$ \rho $ 范畴下，泊松过程与布朗运动过程的尾部行为是否可比，从而支持统计量的合理近似？

主要发现

• 当 $ \rho $ 较小时，基于泊松的似然比过程 $ Z_{\rho} $ 可被基于布朗运动的过程良好近似，从而可使用更简单的分析工具。
• 当 $ \rho \to 0 $ 时，贝叶斯估计量的极限方差满足 $ B_{\rho} \sim B_0 / \rho^2 $，其中 $ B_0 = 16\zeta(3) \approx 19.2329 $；最大似然估计量的方差满足 $ M_{\rho} \sim M_0 / \rho^2 $，其中 $ M_0 = 26 $。
• 当 $ \rho \to \infty $ 时，$ B_{\rho} \to 1 $，$ M_{\rho} \to 2 $，渐近效率 $ E_{\rho} \to 0.5 $，表明最大似然估计量在大 $ \rho $ 下效率下降。
• 渐近效率 $ E_{\rho} $ 的取值介于 $ E_0 \approx 0.7397 $（当 $ \rho \to 0 $ 时）与 $ E_\infty = 0.5 $（当 $ \rho \to \infty $ 时）之间，表明最大似然估计量始终不如贝叶斯估计量高效。
• 使用 $ 10^7 $ 次复制的数值模拟验证了理论渐近结果，显示当 $ \rho \to 0 $ 时，$ \rho^2 B_{\rho} \to B_0 $ 且 $ \rho^2 M_{\rho} \to M_0 $；当 $ \rho \to \infty $ 时，$ B_{\rho} \to 1 $，$ M_{\rho} \to 2 $。
• 泊松过程的尾部概率相比布朗运动过程超出一个随 $ \rho \to 0 $ 指数衰减的因子，支持该近似的有效性。