[论文解读] Tests of goodness of fit to multiple data sets

John C. Collins, Jon Pumplin|ArXiv.org|May 21, 2001

Advanced Statistical Methods and Models参考文献 6被引用 13

一句话总结

本文通过将通常用于拟合参数误差估计的参数拟合准则——即卡方值偏离最小值一个单位对应于参数估计的一个标准误——应用于单个数据子集，提出了一种针对粒子物理全局拟合的严格拟合优度准则，解决了拟合在标准假设检验中通过但在更严格的参数敏感性检验中失败的悖论。该方法能够检测出在整体卡方值中被掩盖的特定实验中的系统性问题（‘漏洞’）。

ABSTRACT

We propose a new and rather stringent criterion for testing the goodness of fit between a theory and experiment. It is motivated by the paradox that the criterion on χ^2 for testing a theory is much weaker than the criterion for finding the best fit value of a parameter in the theory. We present a method by which the stronger parameter-fitting criterion can be applied to subsets of data in a global fit.

研究动机与目标

• 解决全局拟合在标准假设检验中通过，但在更严格的参数拟合准则下失败的悖论。
• 开发一种方法，将更严格的参数拟合准则应用于全局拟合中的单个实验或数据子集。
• 提高对系统性误差或‘漏洞’（如理论缺陷或实验异常）的检测能力，这些误差未被整体卡方值所捕获。
• 提供一个框架，用于识别某一特定实验在理论上描述不佳的情况，即使整体拟合表现可接受。
• 通过卡方值偏差的一维图示，实现对多个实验中拟合质量的更清晰可视化与解读。

提出的方法

• 提出一种基于参数拟合原理的新准则：卡方值偏离其最小值一个单位，对应于参数估计的一个标准误。
• 将此准则应用于单个实验或数据子集，而非仅依赖整体卡方值。
• 利用卡方函数在全局最小值附近的二次近似，对单个实验贡献的偏离进行建模。
• 使用拉格朗日乘子法，建立单个实验卡方值与总卡方值之间的参数化关系。
• 构建卡方值偏差与参数变化的一维图示，以可视化敏感性并检测不一致性。
• 通过将真实数据中的非高斯误差尾部分模型化为‘漏洞’——即未被标准系统误差估计所捕获的意外误差——来处理非高斯误差分布。

实验结果

研究问题

• RQ1 为何标准假设检验准则在全局卡方值下无法检测到数据子集中拟合不良的情况？
• RQ2 如何将更严格的参数拟合准则适配于全局拟合中数据子集的拟合优度评估？
• RQ3 当理论包含多个参数时，单个实验卡方值与总卡方值之间存在何种关系？
• RQ4 如何对真实实验中的非高斯误差分布进行建模，以改进拟合优度评估？
• RQ5 使用一维卡方值偏差图示进行视觉诊断，能否有效揭示特定实验数据中的不一致性？

主要发现

• 参数拟合准则——即卡方值变化一个单位对应于参数估计一个标准误——比假设检验准则严格得多。
• 一个拟合可能通过整体卡方值检验（在 $N \pm \sqrt{2N}$ 范围内），但在应用参数拟合准则时，仍与某个数据子集不一致。
• 该方法能够检测出‘漏洞’——如理论错误或未计入的实验系统误差——这些因素会产生非高斯误差尾部，而标准误差模型无法捕获。
• 在双实验模型中，单个实验与总卡方值偏差之间的关系形成抛物线曲线，且各偏差的最小值出现在不同的参数值处。
• 对卡方函数的二次近似使得子集与总卡方值之间关系可进行解析处理，从而通过拉格朗日乘子法实现参数化分析。
• 卡方值偏差与参数变化的一维图示能有效揭示哪些实验在理论上描述不佳，即使整体拟合表现良好。