[论文解读] Why optional stopping is a problem for Bayesians

Rianne de Heide, Peter Grünwald|arXiv (Cornell University)|Aug 28, 2017

Bayesian Modeling and Causal Inference被引用 15

一句话总结

本文通过证明在贝叶斯因子假设检验中常用的默认先验和实用先验在可选停止策略下可能导致后验概率失真和误差率膨胀，挑战了‘可选停止对贝叶斯推断无害’这一说法。作者表明，II型和III型默认先验尤其易受其影响，从而破坏了贝叶斯方法在序列分析中的稳健性。

ABSTRACT

Recently, optional stopping has been a subject of debate in the Bayesian psychology community. Rouder (2014) argues that optional stopping is no problem for Bayesians, and even recommends the use of optional stopping in practice, as do Wagenmakers et al. (2012). This article addresses the question whether optional stopping is problematic for Bayesian methods, and specifies under which circumstances and in which sense it is and is not. By slightly varying and extending Rouder's (2014) experiment, we illustrate that, as soon as the parameters of interest are equipped with default or pragmatic priors - which means, in most practical applications of Bayes Factor hypothesis testing - resilience to optional stopping can break down. We distinguish between four types of default priors, each having their own specific issues with optional stopping, ranging from no-problem-at-all (Type 0 priors) to quite severe (Type II and III priors).

研究动机与目标

• 调查在使用默认或实用先验时，可选停止是否损害贝叶斯推断的有效性。
• 识别在可选停止下易受损害的具体类型默认先验，并解释原因。
• 阐明在贝叶斯假设检验中，可选停止在何种条件下无害，何种条件下具有问题。
• 通过证明即使对共轭先验的微小偏离也会破坏对可选停止的鲁棒性，扩展Rouder（2014）的论点。

提出的方法

• 作者在Rouder（2014）的模拟框架基础上进行扩展，引入先验分布的变化，以评估其对可选停止的敏感性。
• 他们将默认先剖分为四类（I型至III型），每类在不变性和共轭性方面具有不同的特性。
• 针对每类先验，他们模拟了带有可选停止的序列数据收集，并评估由此产生的后验分布和贝叶斯因子。
• 他们分析了停止规则对不同先验假设下第一类错误率和后验校准的影响。
• 本研究采用基于模拟的推断，比较固定样本量与序列设计下贝叶斯因子的行为差异。
• 他们区分了在可选停止下保持不变的先验（I型）与不保持不变的先验（II型至III型），并识别出其崩溃的结构性原因。

实验结果

研究问题

• RQ1 在何种条件下，可选停止会损害使用默认先验的贝叶斯推断的有效性？
• RQ2 为何某些默认先验对可选停止保持稳健，而另一些则导致错误率膨胀？
• RQ3 先验的结构性特征（如共轭性、非信息性）如何影响其对序列停止规则的鲁棒性？
• RQ4 实用或弱信息先验在可选停止下在多大程度上会损害贝叶斯因子检验的稳健性？

主要发现

• 在使用II型和III型默认先验时，即使样本量适中，可选停止也会严重扭曲后验概率和贝叶斯因子。
• I型先验——即共轭且在可选停止下保持不变的先验——仍具稳健性，但此类先验在实践中极为罕见。
• 非共轭或依赖于抽样计划的默认先验（如基于标准化效应量的先验）在可选停止下会丧失不变性。
• 在序列检验中使用弱信息或默认先验，可能导致误导性证据，因为后验分布对停止规则变得敏感。
• 即使对共轭先验的微小偏离，也会破坏可选停止下所需的不变性。
• 本文结论认为，‘贝叶斯方法对可选停止无问题’这一说法仅在极为严格的先验假设下成立，而非普遍适用于默认先验。