[论文解读] Probably a discovery: Bad mathematics means rough scientific communication

G. D’Agostini|arXiv (Cornell University)|Dec 15, 2011

Statistics Education and Methodologies参考文献 8被引用 7

一句话总结

本文批判了科学传播中统计推理的误用，特别是将p值和频率学检验错误地解释为假设的概率。文章认为，使用先验知识和证据更新信念的贝叶斯推理对于准确的科学解释至关重要，并呼吁更清晰、更诚实的不确定性沟通，以避免公众误解信息。

ABSTRACT

According to the media, in spring of this year the experiment CDF at Fermilab has made most likely ("this result has a 99.7 percent chance of being correct", Discovery News) a great discovery ("the most significant in physics in half a century", NYT). However, since the very beginning, practically all particle physics experts did not believe that was the case. This is the last of a quite long series of fake claims based on trivial mistakes in the probabilistic reasoning. The main purpose of this note is to invite everybody, but especially journalists and general public, most times innocent victims of misinformation of this kind, to mistrust claims not explicitly reported in terms of how much we should believe something, under well stated conditions and assumptions. (A last minute appendix has been added, with comments on the recent news concerning the Higgs at LHC.)

研究动机与目标

• 揭露错误的概率推理如何导致误导性的科学声明，特别是在高影响力的粒子物理学结果中。
• 强调p值与假设为真的概率之间的广泛混淆，这是科学报道中的常见错误。
• 倡导使用贝叶斯方法作为科学推断和传播更准确、更透明的框架。
• 指导记者、研究人员和公众识别并拒绝科学报道中的误导性统计声明。
• 通过强调先验信念和贝叶斯因子而非p值和置信区间，促进对科学不确定性的更清晰沟通。

提出的方法

• 使用现实世界案例——如费米实验室的CDF实验和希格斯玻色子的搜寻——说明常见的统计错误。
• 应用贝叶斯推理，展示如何根据新数据更新信念，使用先验概率和似然性。
• 对比频率学p值与贝叶斯后验概率，说明为何p值常被误解为假设的概率。
• 引入贝叶斯因子的概念作为证据的度量，与p值不同，用于量化数据如何在不同假设之间改变信念。
• 提出基于定性贝叶斯更新的科学传播框架：先验合理性、数据影响（贝叶斯因子）和后验信念。
• 建议直接向科学家询问其对假设的信念程度，而非依赖p值或置信区间。

实验结果

研究问题

• RQ1 为何p值频繁导致对科学结果的错误解释，特别是在高影响力声明中？
• RQ2 频繁学统计的误用如何导致公众对科学发现的误解？
• RQ3 先验信念在正确解释实验数据中扮演什么角色，为何它们在科学报道中常被忽视？
• RQ4 贝叶斯推理如何提升科学传播对非专业人士的清晰度和诚实度？
• RQ5 将p值视为假设为真的概率，会产生什么后果？

主要发现

• CDF实验声称有99.7%的概率正确，是一种统计上的误述，因为p值并不能量化假设为真的概率。
• 将给定假设下数据的概率（如p值）误解为给定数据下假设的概率，导致科学界和公众的广泛误解。
• 高斯发生器产生值3.000（四舍五入）的概率为4.2×10⁻⁶，但这并不意味着该值是统计涨落的概率也是4.2×10⁻⁶。
• 将原假设下观察到极端数据的概率与原假设为真的概率混淆，是统计推理中的根本性错误。
• 在科学报道中使用p值和置信区间往往掩盖了不确定性，误导了记者和公众。
• 将科学声明重新表述为先验合理性与贝叶斯因子，能带来更诚实、更透明的科学不确定性沟通。