[论文解读] Relevant statistics for Bayesian model choice

Jean‐Michel Marin, Natesh S. Pillai+2 more|arXiv (Cornell University)|Oct 21, 2011

Markov Chains and Monte Carlo Methods参考文献 17被引用 13

一句话总结

本文確立了在ABC方法中確保貝葉斯模型選擇一致性的摘要統計量的必要與充分條件，表明基於統計量T的貝葉斯因子僅當在兩個模型下T的極限均值不同時，才會收斂至真實模型。主要貢獻在於建立了一個正式的漸近框架，以驗證摘要統計量在可靠模型選擇中的有效性。

ABSTRACT

The choice of the summary statistics used in Bayesian inference and in particular in ABC algorithms has bearings on the validation of the resulting inference. Those statistics are nonetheless customarily used in ABC algorithms without consistency checks. We derive necessary and sufficient conditions on summary statistics for the corresponding Bayes factor to be convergent, namely to asymptotically select the true model. Those conditions, which amount to the expectations of the summary statistics to asymptotically differ under both models, are quite natural and can be exploited in ABC settings to infer whether or not a choice of summary statistics is appropriate, via a Monte Carlo validation.

研究动机与目标

• 識別基於摘要統計量T的貝葉斯因子在模型選擇中一致的條件。
• 解決因選擇不當的摘要統計量而導致ABC演算法中不一致模型選擇的風險。
• 提供一個理論框架，透過其抽樣分配的漸近性質來驗證摘要統計量。
• 明確表述充分統計量與輔助統計量在基於ABC的模型比較中的作用。
• 提供一種蒙特卡洛驗證方法，以評估給定統計量T是否導致一致推斷。

提出的方法

• 根據兩個模型下T的極限均值，推導出基於摘要統計量**T**(y)的貝葉斯因子$ B^T_{12}( extbf{y}) $一致性的必要與充分條件。
• 運用漸近理論分析每個模型下邊際似然的極限行為，專注於後驗奇異比收斂至真實模型的過程。
• 應用集中不等式與測度論論證，以界定在參數空間不同區域下，似然函數在參數空間上積分超過某閾值的概率。
• 根據參數空間$ \theta_i $到真實均值$ \boldsymbol{\theta}_0 $的距離，將參數空間劃分為集合$ \text{H}_j $，從而控制尾部行為。
• 運用馬爾可夫不等式與富比尼定理，推導邊際似然積分的隨機界，確保依機率收斂。
• 透過蒙特卡洛程序驗證一致性條件，檢查在真實模型與虛假模型下T的期望值是否在漸近下不同。

实验结果

研究问题

• RQ1 當樣本大小增加時，基於摘要統計量**T**的貝葉斯因子在何種條件下會收斂至正確模型？
• RQ2 如何在不依賴經驗性驗證的情況下，評估給定摘要統計量是否適用於基於ABC的模型選擇？
• RQ3 充分性與輔助性在決定ABC設定下貝葉斯因子一致性的角色為何？
• RQ4 是否可以量化並控制完整資料貝葉斯因子與ABC近似貝葉斯因子之間的差異？
• RQ5 ABC近似下邊際似然的漸近性質為何？它們與真實模型證據有何關聯？

主要发现

• 貝葉斯因子$ B^T_{12}( extbf{y}) $若且唯若兩個模型下摘要統計量**T**的極限均值不同，則是一致的。
• 若**T**在兩個模型下的極限均值相同（嵌套情況除外），則貝葉斯因子可能收斂至0或$ \notinfty $，導致模型選擇不一致。
• 本文證明：在一致性條件下，有$ \text{Pr}\big( \text{邊際似然積分} > C \times g_n(\textbf{T}^n) v_n^{-d_i} \big) \to 0 $，當$ n \to \infty $時。
• 對於在兩個模型下極限均值相同的統計量，即使在漸近下，貝葉斯因子也可能不一致，文獻中的反例已證明此點。
• 該方法允許透過檢查在真實模型與虛假模型下T的期望值是否在漸近下不同，來進行統計量**T**一致性的蒙特卡洛驗證。
• 一致性條件對模型誤設具有魯棒性，因其僅依賴於**T**的極限行為，而非完整似然函數。