[论文解读] Systematic Errors: facts and fictions

R. J. Barlow|ArXiv.org|Jul 6, 2002

Particle physics theoretical and experimental studies参考文献 5被引用 59

一句话总结

本文批判了物理学中对“系统性误差”一词的普遍误用，主张明确区分‘系统性不确定度’（可量化的不准确度）、‘系统性效应’（潜在的物理影响因素）和‘系统性错误’（因疏忽或程序错误导致的错误）。文章提出严谨、有原则的方法来评估不确定度，并警告不应通过不当地合并失败测试的结果来人为扩大系统性误差，以掩盖分析缺陷或偏见。

ABSTRACT

The treatment of systematic errors is often mishandled. This is due to lack of understanding and education, based on a fundamental ambiguity as to what is meant by the term. This note addresses the problems and offers guidance to good practice.

研究动机与目标

• 解决实验物理学中‘系统性误差’一词基本含义模糊所导致的普遍误用问题。
• 区分系统性不确定度（可量化的不准确度）、系统性效应（如校准或分辨率等物理影响）和系统性错误（设备或程序缺陷）。
• 提供清晰、有原则的指南，以处理系统性不确定度，从而提高实验结果的可靠性和透明度。
• 防止通过不当地整合失败检查结果或冗余测试结果来人为扩大系统性误差。
• 推动一种严谨的误差评估文化，使检查用于发现错误，而非人为扩大不确定度预算。

提出的方法

• 明确定义并区分三种不同概念：系统性不确定度（可量化的不准确度）、系统性效应（如校准或分辨率等物理影响）和系统性错误（设备或程序缺陷）。
• 使用统计工具识别异常值并评估随机不确定度，但强调仅靠统计无法判断某数据点是错误还是真实信号；这需要经验判断而非统计规则。
• 倡导两步走方法：首先执行检查以发现错误（如数据不一致或校准失败）；其次仅在检查失败且未发现错误时才评估不确定度。
• 反对将不确定度进行平方和开方叠加，尤其当这些不确定度源自非独立或未充分评估的检查时。
• 提出原则：成功的检查结果不应纳入系统性误差，否则会形成规避审查的保护伞，并扭曲不确定度估计。
• 建议仅在耗尽所有其他选择（如修正分析或重新评估假设）后，才将失败检查的结果纳入系统性误差。

实验结果

研究问题

• RQ1 在实验物理学中，‘系统性误差’的正确含义是什么？为何当前的用法具有误导性？
• RQ2 在数据分析中，如何将系统性不确定度与系统性效应及系统性错误区分开来？
• RQ3 将失败检查结果错误地纳入系统性误差估计会产生何种后果？
• RQ4 为何将不确定度进行平方和开方叠加的做法存在问题？应如何避免？
• RQ5 应依据何种标准判断是否应将检查结果纳入系统性误差预算？

主要发现

• ‘系统性误差’一词常被误用为‘系统性错误’而非‘系统性不确定度’，导致误差分析中产生根本性混淆。
• 统计方法可识别异常值或不一致，但无法判断某数据点是错误还是真实信号；这需要经验判断，而非统计规则。
• 将成功检查的结果纳入系统性误差会人为扩大不确定度，损害分析的可信度，形成规避审查的保护伞。
• 失败检查的结果仅应在耗尽所有其他可能（如修正分析或识别错误）后才可纳入系统性误差。
• 以非线性校准被错误地建模为线性为例，表明将校准差异视为系统性误差可能导致不确定度估计过高或过低，具体取决于外推范围。
• 本文结论认为，系统性误差不应通过将检查结果进行平方和开方叠加来人为扩大；最稳健的方法是基于坚实的物理解释而非程序便利性，为每一项不确定度分量提供合理依据。