[论文解读] The Lindley paradox: The loss of resolution in Bayesian inference

Colin LaMont, Paul A. Wiggins|arXiv (Cornell University)|Oct 29, 2016

Gaussian Processes and Bayesian Inference参考文献 19被引用 4

一句话总结

本文重新探討貝葉斯模型選擇中的林德利悖論，表明非資訊性先驗會導致實驗解析度低於頻頻方法。透過引入偽貝葉斯因子並分析資訊分割，作者顯示預測推斷可最佳化解析度，並避免悖論性結論，特別是在小樣本或奇異模型中。

ABSTRACT

There are three principle paradigms of statistics: Bayesian, frequentist and information-based inference. Although these paradigms are in agreement in some contexts, the Lindley paradox describes a class of problems, models of unknown dimension, where conflicting conclusions are generated by frequentist and Bayesian inference. This conflict can materially affect the scientific conclusions. Understanding the Lindley paradox---where it applies, why it occurs, and how it can be avoided---is therefore essential to the understanding of statistical analysis. In this paper, we revisit the Lindley paradox in the context of a simple biophysical application. We describe how predictive and postdictive measures of model performance provide a natural framework for understanding the Lindley paradox. We then identify methods which result in optimal experimental resolution for discovery.

研究动机与目标

• 解決未知維度模型在模型選擇中貝葉斯與頻頻推斷之間的衝突。
• 識別林德利悖論的根本原因——特別是貝葉斯模型選擇中因非資訊性先驗導致的解析度損失。
• 展示預測與後驗模型表現度量可提供理解與解決該悖論的原則性框架。
• 主張偽貝葉斯因子是一種方法，可在保持貝葉斯優勢的同時避免悖論並最佳化實驗解析度。
• 顯示貝葉斯資訊準則（BIC）極限對應於解析度的損失，因此在有限樣本大小下非最佳。

提出的方法

• 透過資料與先驗之間的資訊分割分析貝葉斯模型選擇，識別出兩種極限情形：AIC（先驗資訊豐富）與BIC（先驗資訊稀少）。
• 以生物物理彈珠位移模型作為典型範例，比較貝葉斯與頻頻方法檢測非零平均位移的臨界值。
• 推導貝葉斯檢測臨界值：|μ̂| > σμ·√(2 log(τ/σμ))，其中τ為先驗變異數，並與頻頻臨界值|μ̂| > σμ·2比較。
• 引入偽貝葉斯因子，以確保獨立分析中的一致模型選擇，從而避開林德利悖論。
• 應用預測推斷以最佳化實驗解析度，顯示此方法可避免BIC與非資訊性先驗固有的解析度損失。
• 顯示BIC極限對單一測量的主觀定義極為敏感，進而削弱有限樣本設定下的穩健性。

实验结果

研究问题

• RQ1 為何貝葉斯模型選擇中使用非資訊性先驗會導致解析度低於頻頻方法？
• RQ2 資料與先驗之間的資訊分割如何影響貝葉斯與頻頻推斷的一致性？
• RQ3 BIC極限如何對應於解析度的損失？為何這對實驗設計具有問題？
• RQ4 偽貝葉斯因子能否恢復貝葉斯與頻頻推斷之間的一致性，同時保持貝葉斯優勢？
• RQ5 預測與後驗模型表現度量在實務中如何幫助解決林德利悖論？

主要发现

• 林德利悖論的產生是因為貝葉斯模型選擇中使用非資訊性先驗導致解析度損失，使得檢測相同效應所需樣本量大於頻頻方法。
• 貝葉斯檢測臨界值取決於先驗變異數τ，當τ → ∞（非資訊性先驗）時，臨界值發散，導致敏感度降低。
• BIC極限對應於低解析度與對先驗規範高度敏感的狀態，因此不適合有限樣本推斷。
• 偽貝葉斯因子提供了一致且具預測性的框架，可避免林德利悖論，同時維持貝葉斯一致性並最佳化實驗解析度。
• AIC極限對應於穩健的、先驗資訊豐富的狀態，與頻頻解析度一致，且對先驗選擇不那麼敏感。
• 頻頻檢驗中的多重比較問題本身並非該範式之缺陷，而是應用上的缺陷；當先驗資訊充足時，貝葉斯方法可避免此類問題，但非資訊性先驗會重新引入解析度損失。