[论文解读] Statistical biases in measurements with multiple candidates

P. Koppenburg|arXiv (Cornell University)|Mar 3, 2017

Particle physics theoretical and experimental studies参考文献 118被引用 4

一句话总结

本文识别并系统分析了在高能物理测量中，每个事例存在多个物理候选时引入的统计偏差，尤其在味物理和精密物理中。研究表明，选择单一‘最佳’候选可能因伴随候选的关联率而引入显著偏差——最高可达统计不确定性的20%。因此建议保留所有候选以最小化偏差，若必须移除候选，则需仔细评估系统不确定性。

ABSTRACT

Many measurements at collider experiments study physics candidates that are a subset of a collision event. The presence of multiple such candidates in a given event can cause raw biases which are large compared to typical statistical uncertainties. Selecting a single candidate is common practice but only helps if the likelihood of selecting the true candidate is very high. Otherwise the precision of the measurement can be affected, and biases can be generated, even if none are present in the data sample prior to this operation. This paper aims at describing the problem in a systematic way. It sets definitions, provides examples of potential biases using pseudoexperiments and gives recommendations.

研究动机与目标

• 系统表征高能物理测量中每个事例存在多个候选时引发的统计偏差。
• 解决处理多重候选缺乏标准化程序的问题，该问题可能导致未报告的偏差和可重现性降低。
• 量化候选选择策略（尤其是单候选选择）对测量精度和偏差的影响。
• 提供一种框架，利用伪实验和模拟识别、评估并校正由多重候选引入的偏差。
• 推荐在出版物中报告候选多重性、选择策略及系统不确定性评估的最佳实践。

提出的方法

• 使用伪实验模拟具有不同伴随候选概率的事例样本，评估信号产额和效率中的偏差。
• 比较多种候选处理技术：不采取任何措施、样本拆分、仲裁（例如最佳候选选择）以及效率校正。
• 分析伴随候选率相关性对信号效率和测量偏差的影响，尤其在相对分支比测量中。
• 评估候选移除对统计不确定性和系统不确定性的影响，特别是在信号和归一化模式中伴随候选行为不同时。
• 应用框架比较数据、模拟和控制样本，以评估候选移除技术是否引入偏差。
• 引入一个度量以量化随机候选选择带来的系统不确定性，表明其在真实伪实验场景中可高达统计不确定性的20%。

实验结果

研究问题

• RQ1 每个事例中存在多个候选如何在精密测量中引入统计偏差，特别是在应用单个候选选择时？
• RQ2 候选移除技术（尤其是仲裁）对测量精度和偏差的定量影响是什么？
• RQ3 模拟或控制样本在多大程度上能准确校正由多重候选引起的偏差？在什么情况下会失效？
• RQ4 伴随候选率之间的相关性如何影响相对分支比测量中信号效率估计的可靠性？
• RQ5 为确保可重现性和偏差控制，候选多重性和选择策略的最低有效报告标准是什么？

主要发现

• 每个事例选择单一‘最佳’候选可能引入高达统计不确定性20%的系统偏差，尤其当伴随候选率与信号相关时。
• 保留所有候选是偏差最小的方法，因为它避免引入选择偏差，尽管会略微增加背景水平。
• 仲裁技术（如选择判别值最高的候选）可能引入显著偏差，且难以校正，尤其当判别变量与信号纯度不完全相关时。
• 在真实伪实验场景中，随机候选选择带来的系统不确定性（例如在效率校正中）可高达统计不确定性的20%。
• 信号和归一化模式中伴随候选行为的差异可能导致相对分支比测量中未校正的系统不确定性。
• 报告候选多重性、选择策略及相关的系统不确定性，对于出版分析中的可重现性和偏差控制至关重要。