[论文解读] Sensitivity of searches for new signals and its optimization

G. Punzi|ArXiv.org|Aug 15, 2003

Scientific Measurement and Uncertainty Evaluation被引用 58

一句话总结

本文提出了一种基于频率学派的灵敏度定义，用于新物理搜索，该定义独立于对信号强度的先验信念，实现了发现与极限设定的统一优化。该方法基于泊松分布与高斯近似推导出一个灵敏度因子，其关键结果是一个稳健的、依赖于背景的公式，相较于传统的显著性度量如 $S/\sqrt{B}$ 和 $S/\sqrt{S+B}$ 表现更优，尤其在低背景和高显著性水平下表现突出。

ABSTRACT

A frequentist definition of sensitivity of a search for new phenomena is discussed, that has several useful properties. It is based on completely standard concepts, is generally applicable, and has a very clear interpretation. It is particularly suitable for optimization, being independent of a-priori expectations about the presence of a signal, thus allowing the determination of a single set of cuts that is optimal both for setting limits and for making a discovery. Simple approximate formulas are given for the common problem of Poisson counts with background.

研究动机与目标

• 为解决新物理搜索中灵敏度定义的模糊性，该模糊性常将发现潜力与极限设定能力混淆。
• 消除对未知信号强度的主观先验分布的依赖，确保采用频率学派、客观的框架。
• 通过单一灵敏度度量，统一实验设计在发现与排除两种目标下的优化。
• 提供一个实用且可解析处理的公式，准确反映不同显著性水平与置信水平下的灵敏度。
• 改进传统类似显著性的度量，这些度量在低背景或高显著性下表现不佳，且对优化过程中的灵敏度表示不准确。

提出的方法

• 提出一种基于假设检验统计功效的灵敏度定义，要求对于给定的显著性水平 $\alpha$，统计功效 $1 - \beta(m)$ 超过选定的置信水平（CL）。
• 将灵敏度区域定义为满足在显著性水平 $\alpha$ 下，检验能够以足够功效拒绝原假设 $H_0$ 的信号参数 $m$ 的集合，从而确保发现与极限设定之间的一致性。
• 利用泊松分布尾部的高斯近似，推导出最小可探测信号 $S_{\text{min}}$ 的近似公式，其中可调参数 $a$ 和 $b$ 分别对应 $\alpha$ 和 CL。
• 提出一个改进的近似公式（式 8），通过校正泊松分布尾部的非高斯行为，显著提升在高显著性水平下的精度。
• 将所提出的灵敏度因子与标准度量 $S/\sqrt{B}$ 和 $S/\sqrt{S+B}$ 进行比较，结果表明在低背景和高显著性区域中表现更优。
• 通过数值比较与图表验证（图 3–6），表明新度量能更均衡地反映在不同信号与背景水平下的灵敏度。

实验结果

研究问题

• RQ1 如何定义新物理搜索中的灵敏度，使其既符合频率学派原则，又独立于对信号强度的先验信念？
• RQ2 为何传统显著性度量如 $S/\sqrt{B}$ 和 $S/\sqrt{S+B（}$ 在低背景条件下难以有效优化实验设计？
• RQ3 能否构建一个单一的灵敏度度量，同时优化发现潜力与极限设定能力？
• RQ4 在泊松分布尾部区域，如何准确近似搜索的灵敏度，特别是对于 $5\sigma$ 这类高显著性阈值？
• RQ5 如何改进对泊松分布尾部积分的高斯近似，以提升灵敏度计算的准确性？

主要发现

• 所提出的灵敏度定义通过要求检验功效超过选定置信水平，确保了发现与极限设定之间的一致性，从而避免了报告极限时的矛盾。
• 基于精确泊松计算的灵敏度因子 $1/S_{\text{min}}$ 提供了一个可靠且依赖于背景的度量，适用于优化。
• 高斯近似公式（式 6）在中等显著性与置信水平下表现良好，但在高 $\alpha$ 和 $\text{CL}$ 条件下会低估灵敏度，原因在于泊松分布尾部的非高斯偏差。
• 改进后的公式（式 8）通过引入经验校正，显著提升了在 $5\sigma$ 显著性水平下的精度，使其适用于高精度搜索。
• 与 $S/\sqrt{B}$ 相比，新度量在低背景时避免了对灵敏度的高估；与 $S/\sqrt{S+B}$ 相比，避免了在高显著性下的低估，尤其在高显著性区域表现更优。
• 该灵敏度因子在行为上介于两个传统度量之间，提供了在全背景水平范围内更均衡、更准确的可探测性表征。