[论文解读] The statistical and physical significance of confidence intervals

C. Giunti, M. Laveder|arXiv (Cornell University)|Feb 7, 2000

Scientific Measurement and Uncertainty Evaluation被引用 2

一句话总结

本文通过引入‘排除潜力’和上限标准差，评估了在已知背景的泊松过程中，经典统计方法中置信区间的物理意义，特别关注其在实验分析中的适用性。定义了如‘拉力’（Pull）、探测函数和灵敏度等物理度量，以量化在特定置信水平下实验的可靠性与信号探测能力。

ABSTRACT

It is shown that the necessity to choose a specific Frequentist method, amongseveral available, for the analysis of experimental data does not introduce anydegree of subjectivity from a statistical point of view. However, the physicalsignificance of confidence intervals obtained with different methods isdifferent. Considering the case of a Poisson process with known background, weshow that the expectation value ("exclusion potential") and the standarddeviation of the upper limit in the absence of a signal can help to decidewhich is the most appropriate method from a physical point of view. In theframework of both Frequentist and Bayesian statistical theories, we also definethe "Pull" of a null result, expressing the reliability of an experimentalupper limit, the "upper and lower detection functions", that give informationon the possible outcome of an experiment if there is a signal, and the"sensitivity", that quantifies the capability of an experiment to reveal thesignal that is searched for at the given confidence level.

研究动机与目标

• 评估不同经典方法在实验数据分析中所得置信区间的物理意义。
• 基于物理可解释性而非仅统计一致性，识别选择最合适统计方法的标准。
• 定义可测量的物理量（如拉力、上下探测函数和灵敏度），以反映实验在检测信号方面的可靠性与能力。

提出的方法

• 利用无信号情况下上限的期望值（即‘排除潜力’）及其标准差，比较不同经典方法的物理性能。
• 结合经典与贝叶斯框架，定义零结果的‘拉力’，量化实验上限结果的可靠性。
• 引入‘上下探测函数’，用于建模在不同信号强度下存在信号时的预期实验结果。
• 将‘灵敏度’定义为实验在给定置信水平下探测信号能力的度量，综合考虑统计与物理因素。
• 通过已知背景的泊松过程，比较不同置信区间方法的物理度量。
• 运用统计理论将置信区间与物理可观测量关联，实现基于物理相关性的方法选择。

实验结果

研究问题

• RQ1 在分析具有已知背景的泊松过程时，哪种经典方法所得的置信区间具有最强的物理意义？
• RQ2 如何利用如‘拉力’等物理度量来量化零结果的可靠性？
• RQ3 若存在信号，实验的预期结果是什么？这些结果如何通过上下探测函数描述？
• RQ4 实验对信号的灵敏度如何依赖于所选的置信区间方法？
• RQ5 除了统计特性外，可采用哪些物理标准来判断竞争性经典方法之间的优劣？

主要发现

• 无信号情况下上限期望值（称为‘排除潜力’）为比较不同经典方法提供了物理判据。
• 无信号情况下上限标准差有助于评估方法的物理可靠性与精度。
• 零结果的‘拉力’量化了实验上限结果的可靠性，绝对值越大表示结果越可信。
• 上下探测函数描述了在存在信号时预期结果的范围，可预测信号条件下的实验行为。
• 灵敏度定义为实验在给定置信水平下能探测到的信号强度，是实验能力的直接度量。
• 置信区间方法的选择影响其物理可解释性，排除潜力与上限标准差等度量可指导选择实现最优物理性能的方法。