[论文解读] Safe Testing

Peter Grünwald, Rianne de Heide+1 more|arXiv (Cornell University)|Jun 18, 2019

Bayesian Modeling and Causal Inference被引用 12

一句话总结

本文提出了一种基于 e-值的假设检验新框架，e-值是满足原假设下 E[E] ≤ 1 的非负随机变量。与 p-值不同，e-值在可选继续（optional continuation）下仍能保持第一类错误控制，且被证明具有增长速率最优性（GRO），最优 e-变量在特定先验下即为贝叶斯因子，从而实现了费舍尔式、奈曼-皮尔逊式与贝叶斯范式下稳健、可解释且统一的推断。

ABSTRACT

We develop the theory of hypothesis testing based on the e-value, a notion of evidence that, unlike the p-value, allows for effortlessly combining results from several studies in the common scenario where the decision to perform a new study may depend on previous outcomes. Tests based on e-values are safe, i.e. they preserve Type-I error guarantees, under such optional continuation. We define growth-rate optimality (GRO) as an analogue of power in an optional continuation context, and we show how to construct GRO e-variables for general testing problems with composite null and alternative, emphasizing models with nuisance parameters. GRO e-values take the form of Bayes factors with special priors. We illustrate the theory using several classic examples including a one-sample safe t-test and the 2 x 2 contingency table. Sharing Fisherian, Neymanian and Jeffreys-Bayesian interpretations, e-values may provide a methodology acceptable to adherents of all three schools.

研究动机与目标

• 开发一种假设检验理论，使其在可选继续下依然有效，即是否继续收集数据的决策取决于先前结果。
• 解决 p-值在序列和自适应检验场景中的局限性，特别是其在可选继续下缺乏错误控制的问题。
• 通过将 e-值作为共同的度量标准，统一费舍尔式、奈曼-皮尔逊式与杰弗里斯-贝叶斯式对证据的解释。
• 为具有复合假设和干扰参数的模型提供构造 e-变量的一般方法，确保第一类错误控制。
• 将增长速率最优性（GRO）确立为可选继续背景下有意义的统计功效类比，并展示如何通过特定先验或极小化最大风险原则构造 GRO e-变量。

提出的方法

• 将 e-变量定义为在所有原分布下满足 E[E] ≤ 1 的非负随机变量，从而确保第一类错误控制。
• 引入阈值检验：若 E ≥ 1/α，则拒绝 H₀，该方法在任何可选继续方案下均能将第一类错误控制在水平 α。
• 提出增长速率最优性（GRO）作为序列检验中最优性的标准，类比于固定样本检验中的功效。
• 通过在备择假设上使用特定先验构造贝叶斯因子，从而构造 GRO e-变量，包括位置-尺度族中的右哈尔先验。
• 在备择假设上无先验的情况下，通过引入 GROW（最坏情况）和 REGROW（相对）最优性准则，将框架扩展至此类情形。
• 利用信息投影和指数族理论，推导出含干扰参数模型（如 t 检验和 2×2 列联表）的 e-变量。

实验结果

研究问题

• RQ1 如何使假设检验在可选继续下保持安全，即是否继续收集数据的决策取决于先前结果？
• RQ2 在可选继续背景下，统计功效的合适类比是什么？如何对其进行形式化？
• RQ3 e-值能否统一费舍尔式、奈曼-皮尔逊式与贝叶斯方法在假设检验中对证据的解释？
• RQ4 如何为具有干扰参数的复合假设（如 t 检验或 2×2 列联表）构造 e-变量？
• RQ5 e-变量与贝叶斯因子之间存在何种关系？在何种条件下二者一致？

主要发现

• e-变量在可选继续下保持第一类错误控制，而 p-值则不能，因此适用于序列和自适应检验。
• 增长速率最优性（GRO）被确立为序列检验中最优性的有意义标准，GRO e-变量在给定备择分布下实现最快的期望增长速率。
• 对于单样本 t 检验，GRO e-变量对应于使用右哈尔先验的贝叶斯因子，与客观贝叶斯方法一致。
• 在 2×2 列联表中，GRO e-变量并不对应于标准贝叶斯因子，表明这是一种新颖的、非贝叶斯的构造，但仍保持最优性与错误控制。
• e-变量可解释为凯利赌博框架中的货币收益，为原假设下证据的强度提供了具体且直观的解释。
• 该框架统一了费舍尔式、奈曼-皮尔逊式与杰弗里斯-贝叶斯式方法：e-值支持证据解释而无需指定特定备择假设，通过阈值检验支持决策制定，且可从贝叶斯先验推导得出，从而弥合了三种范式之间的鸿沟。