[论文解读] Significance tests and sample homogeneity loophole

Marian Kupczyński|arXiv (Cornell University)|May 23, 2015

Quantum Mechanics and Applications参考文献 14被引用 4

一句话总结

本文主张，科学研究所用的显著性检验，尤其是在量子物理实验中，因‘样本同质性漏洞’而受到损害——即未能验证数据样本是否一致且具代表性。作者认为，若未进行严格的同质性检验，即使统计显著的结果（如贝尔型不等式的违反）也无法被信赖，因此呼吁关闭此漏洞以确保结果的有效性。

ABSTRACT

In their recent comment, published in Nature, Jeffrey T.Leek and Roger D.Peng discuss how P-values are widely abused in null hypothesis significance testing . We agree completely with them and in this short comment we discuss the importance of sample homogeneity tests. No matter with how much scrutiny data are gathered if homogeneity tests are not performed the significance tests suffer from sample homogeneity loophole and the results may not be trusted. For example sample homogeneity loophole was not closed in the experiment testing local realism in which a significant violation of Eberhard inequality was found. We are not surprised that Bell type inequalities are violated since if the contextual character of quantum observables is properly taken into account these inequalities cannot be proven. However in order to trust the significance of the violation sample homogeneity loophole must be closed. Therefore we repeat after Jeffrey T.Leek and Roger D.Peng that sample homogeneity loophole is probably just the tip of the iceberg.

研究动机与目标

• 强调样本同质性在显著性检验中至关重要但常被忽视的作用。
• 论证缺乏同质性检验会削弱统计结果的有效性，即使p值很低。
• 证明在关键实验（如通过埃伯哈德不等式检验局域实在论）中，样本同质性漏洞未被关闭。
• 强调该漏洞可能是科学各学科统计实践中更深层次问题的征兆。
• 倡导将同质性检验作为显著性检验程序中的标准要求加以整合。

提出的方法

• 建议在显著性检验前使用既定的统计方法测试样本同质性。
• 分析在实验数据中忽略样本同质性的影响，特别是在量子基础研究中。
• 以埃伯哈德不等式违反实验为例，说明未经验证的样本同质性所带来的后果。
• 主张若承认量子可观测量的上下文依赖性，则贝尔型不等式的违反并不出人意料，但若无同质性检查，其显著性仍存疑。
• 强调在依赖p值之前，必须对数据质量进行系统性评估。
• 呼吁统计实践范式发生转变，将同质性检验作为显著性检验的先决条件。

实验结果

研究问题

• RQ1 为何即使p值具有统计显著性，显著性检验仍不可靠？
• RQ2 样本同质性在量子物理实验中如何削弱统计结论的有效性？
• RQ3 未能关闭样本同质性漏洞如何影响对埃伯哈德不等式违反的解释？
• RQ4 样本同质性漏洞在多大程度上反映了统计方法论中的普遍缺陷？
• RQ5 为确保科学研究所用显著性检验的可信度，需进行哪些方法论上的改变？

主要发现

• 样本同质性漏洞会损害显著性检验的可靠性，即使p值很低。
• 常被引用为反对局域实在论证据的埃伯哈德不等式违反实验，存在未经解决的样本同质性漏洞。
• 若正确承认量子可观测量的上下文依赖性，则贝尔型不等式的违反并不出人意料。
• 缺乏同质性检验会使即使统计显著的结果也可能无效。
• 样本同质性漏洞可能反映出科学领域统计实践中更深层次的系统性问题。
• 关闭样本同质性漏洞对于信任实验物理及其他领域显著性检验的结果至关重要。