[论文解读] On the Combining Significances

Sergey Bityukov, Nikolai Krasnikov+1 more|ArXiv.org|Dec 18, 2006

Random Matrices and Applications被引用 6

一句话总结

本文提出了一种统计框架，通过将观测显著性视为单位方差的正态分布随机变量，将来自独立实验的多个信号显著性进行合并。结果表明，通过将显著性之和除以实验次数的平方根，可得到有效的合并显著性，该方法经蒙特卡洛模拟和置信密度分析验证，适用于计数法和基于p值的显著性估计器。

ABSTRACT

We present the statistical approach to the combining of signal significances.

研究动机与目标

• 建立一个严谨的统计框架，用于合并来自独立实验的多个观测显著性。
• 阐明初始（预期）显著性与作为随机变量的观测（实现）显著性之间的区别。
• 验证来自泊松分布事件的观测显著性近似服从单位方差的正态分布。
• 开发一种利用正态分布性质，将多个部分显著性合并为单一合并显著性的方法。
• 通过广泛的蒙特卡洛模拟和置信密度分析，证明该方法的有效性。

提出的方法

• 作者将观测显著性建模为来自泊松分布事件计数的随机变量实现，采用两种显著性定义：$\hat{S}_{c12} = 2(\sqrt{\hat{N}_{\text{obs}}} - \sqrt{N_b})$ 和 $\hat{S}_{cP}$，后者将泊松p值转换为高斯sigma等价值。
• 对初始显著性进行均匀扫描，并对每个参数集模拟30,000次试验，以构建作为初始显著性函数的观测显著性的置信密度。
• 该方法依赖于正态分布的统计自对偶性，使得初始显著性的置信密度与观测显著性的分布相匹配。
• 在合并显著性方面，作者定义 $\hat{S}_{\text{comb}} = \hat{S}_{\text{sum}} / \sqrt{\text{var}(\hat{S}_{\text{sum}})}$，其中 $\text{var}(\hat{S}_{\text{sum}}) = \sum_{i=1}^n \text{var}(\hat{S}_i)$，并证明在泊松过程中，各显著性方差近似为1。
• 通过最多300万次试验的蒙特卡洛模拟验证该方法，比较多个实验中显著性之和与归一化后分布的差异。
• 该方法应用于 $\hat{S}_{c12}$ 和 $\hat{S}_{cP}$，结果表明观测显著性分布可良好地由单位方差的正态分布近似。

实验结果

研究问题

• RQ1 如何有意义地将来自独立实验的观测显著性合并为单一合并显著性？
• RQ2 来自泊松分布事件计数的观测显著性在多大程度上服从单位方差的正态分布？
• RQ3 初始（预期）显著性与作为随机变量的观测（实现）显著性之间存在何种统计关系？
• RQ4 如何从观测显著性的实现中构建初始显著性的置信密度？
• RQ5 在泊松统计下，通过 $\bar{S} = \Sigma S_i / \sqrt{n}$ 方法合并显著性是否产生有效的估计量？

主要发现

• 观测显著性 $\hat{S}_{c12}$ 和 $\hat{S}_{cP}$ 是随机变量的实现，其分布可良好地由方差接近1的正态分布近似。
• 初始显著性 $S_{c12}$ 的置信密度与观测显著性 $\hat{S}_{c12}$ 的分布相匹配，证实 $\hat{S}_{c12}$ 是 $S_{c12}$ 的有效估计量。
• 蒙特卡洛模拟证实，来自独立实验的观测显著性之和的分布近似为正态分布，其方差等于实验数量。
• 归一化和 $\hat{S}_{\text{comb}} = \hat{S}_{\text{sum}} / \sqrt{n}$ 产生以真实合并显著性为中心的分布，验证了显著性合并方法的有效性。
• 在纯背景（无信号）情况下，观测显著性 $\hat{S}_{c12}$ 和 $\hat{S}_{cP}$ 服从标准正态分布，证实了该近似的有效性。
• 该方法在不同背景和信号水平下均表现稳健，如在多种扫描参数和模拟试验中结果一致所示。