[论文解读] Testing Hypotheses in Particle Physics: Plots of $p_{0}$ Versus $p_{1}$

L. Demortier, L. Lyons|arXiv (Cornell University)|Aug 26, 2014

Particle physics theoretical and experimental studies参考文献 8被引用 3

一句话总结

本文引入并分析了 $p_0$ 与 $p_1$ 的散点图——其中 $p_0$ 和 $p_1$ 分别是针对原假设 ($H_0$) 和备择假设 ($H_1$) 的 p 值——作为一种强大的图形化工具，用于理解粒子物理学中的假设检验。该文展示了这些图表如何阐明关键概念，如 $CL_s$ 准则、灵敏度（Punzi 定义）、似然比、误导性证据以及杰弗里斯-林德利悖论等，同时提供频率学派与贝叶斯学派的解释，并在多通道搜索中具有实际应用价值。

ABSTRACT

For situations where we are trying to decide which of two hypotheses $H_{0}$ and $H_{1}$ provides a better description of some data, we discuss the usefulness of plots of $p_{0}$ versus $p_{1}$, where $p_{i}$ is the $p$-value for testing $H_{i}$. They provide an interesting way of understanding the difference between the standard way of excluding $H_{1}$ and the $CL_{s}$ approach; the Punzi definition of sensitivity; the relationship between $p$-values and likelihood ratios; and the probability of observing misleading evidence. They also help illustrate the Law of the Iterated Logarithm and the Jeffreys-Lindley paradox.

研究动机与目标

• 为理解新物理搜索中 $p$-值与似然比之间相互作用提供一种可视化与分析框架。
• 通过图形化表示澄清 $CL_s$ 准则及其与标准频率学派检验的区别。
• 在 $p_0$-$p_1$ 散点图的背景下，通过 Punzi 定义说明灵敏度的概念。
• 利用这些图表研究观察到误导性证据的概率以及杰弗里斯-林德利悖论。
• 提供在存在干扰参数时构建 $p_0$-$p_1$ 散点图的实际解决方案，采用自助法与贝叶斯方法。

提出的方法

• 构建 $p_0$（$H_0$ 的 p 值）与 $p_1$（$H_1$ 的 p 值）的二维散点图，以同时可视化对两个假设的证据。
• 使用似然比作为检验统计量 $T$，在 $(p_0, p_1)$ 平面上定义拒绝或不拒绝 $H_0$ 和 $H_1$ 的区域。
• 推导在 $H_0$ 和 $H_1$ 下 $p_0$ 与 $p_1$ 的联合概率分布，以计算错误率与统计功效。
• 应用参数自助法估计存在干扰参数时的 $p_0$ 与 $p_1$，同时保持频率学派的错误控制。
• 通过适当的先验分布对干扰参数进行贝叶斯边际化，定义后验预测 $p$-值 $p_i^*$ 和贝叶斯因子，作为频率学派 $p$-值的替代方案。
• 在 $p_0$-$p_1$ 图中绘制高斯似然比等高线，以在大样本近似下总结多个搜索通道中的证据。

实验结果

研究问题

• RQ1 $p_0$-$p_1$ 散点图如何阐明用于排除新物理假设的 $CL_s$ 准则？
• RQ2 这些图表在证据评估中如何体现 $p$-值与似然比之间的差异？
• RQ3 如何利用 $p_0$-$p_1$ 散点图可视化假设检验中观察到误导性证据的概率？
• RQ4 $p_0$-$p_1$ 散点图如何帮助解决或可视化杰弗里斯-林德利悖论？
• RQ5 在存在干扰参数时，可采用哪些方法构建 $p_0$-$p_1$ 散点图？

主要发现

• $p_0$-$p_1$ 散点图对 $H_0$ 和 $H_1$ 的证据提供了全面的视觉总结，清晰地区分了发现（$H_1$ 被拒绝）、排除（$H_1$ 被拒绝）以及非决策区域。
• $CL_s$ 准则用于排除 $H_1$ 对应于 $p_0$-$p_1$ 平面中的特定区域，其中 $p_0$ 较小而 $p_1$ 较大，反映了对 $H_0$ 拒绝的高显著性要求。
• Punzi 定义的灵敏度在 $p_0$-$p_1$ 平面中自然地表现为在 $H_1$ 真实分布下 $H_1$ 被拒绝的区域，对应于高统计功效。
• 观察到误导性证据的概率——即 $p_0$ 较小但 $p_1$ 较大——通过在 $H_0$ 下的 $p_0$-$p_1$ 平面中的面积量化，揭示了错误发现的风险。
• 杰弗里斯-林德利悖论在 $p_0$-$p_1$ 散点图中得到清晰展示，其中 $p$-值可能与似然比得出矛盾的结论，尤其是在大样本中。
• 对于干扰参数，贝叶斯边际化或参数自助法可用于构建 $p_0$-$p_1$ 散点图，前者计算更简便，后者则保持了频率学派的错误属性。