[论文解读] On Statistical Non-Significance

Alberto Abadie|arXiv (Cornell University)|Mar 1, 2018

Forecasting Techniques and Applications参考文献 8被引用 3

一句话总结

本文挑战了统计显著性相较于非显著性具有更高科学价值的普遍观点，通过有限信息贝叶斯框架证明，在大样本中，非显著结果往往传递更多信息——尤其是当点零假设几乎不可能成立时。文章指出，当零假设未能被拒绝时，后验信念可能在零附近高度集中，而拒绝零假设可能传递的信息极少，因此主张在实证研究中应提高对非显著结果的可见度与讨论度。

ABSTRACT

Significance tests are probably the most extended form of inference in empirical research, and significance is often interpreted as providing greater informational content than non-significance. In this article we show, however, that rejection of a point null often carries very little information, while failure to reject may be highly informative. This is particularly true in empirical contexts where data sets are large and where there are rarely reasons to put substantial prior probability on a point null. Our results challenge the usual practice of conferring point null rejections a higher level of scientific significance than non-rejections. In consequence, we advocate a visible reporting and discussion of non-significant results in empirical practice.

研究动机与目标

• 挑战实证研究中统计显著性比非显著性更具信息量的普遍假设。
• 通过有限信息贝叶斯框架证明，点零假设未能被拒绝时可传递大量信息，尤其在大样本中。
• 表明当对精确零假设的先验信念可忽略时，拒绝点零假设通常信息价值极低。
• 倡导在实证实践中提高对非显著结果的可见报告与讨论，以对抗发表偏倚。
• 通过纳入估计值的符号及其对后验信息量的影响，重新评估显著性检验的作用。

提出的方法

• 采用有限信息贝叶斯方法，其中决策者仅使用报告的显著性水平更新信念，而非完整数据。
• 将参数 θ 的先验分布建模为正态分布 N(μ, σ²)，并将估计量 ŷ 的抽样分布建模为 N(θ, 1/n)。
• 利用标准正态累积分布函数 Φ，推导出在显著性（|√nŷ| > c）和非显著性（|√nŷ| ≤ c）条件下，θ 的有限信息后验分布。
• 通过计算后验比 p(θ | data) / p(θ) 来评估信息量，特别关注大样本极限（n → ∞）下的表现。
• 通过额外条件化于估计值的符号（例如，√nŷ > c 且 ŷ > 0），扩展分析，展示符号信息如何改变后验集中程度。
• 利用渐近极限分析在显著性与非显著性条件下后验分布的行为，尤其关注在 θ = 0 处的集中性。

实验结果

研究问题

• RQ1 在典型的大样本实证情境中，统计显著性是否比非显著性提供更多信息？
• RQ2 显著性检验的信息量在多大程度上依赖于感兴趣参数的先验分布？
• RQ3 在显著性之外，对估计系数符号的条件化会产生何种影响？
• RQ4 在非显著性条件下，后验分布的渐近行为如何，尤其在零假设值处的集中性如何？
• RQ5 为何非显著性结果常被低估报？这对科学推断与发表偏倚有何影响？

主要发现

• 非显著性可能极具信息量，尤其在大样本中，能将后验概率质量高度集中于零值（θ = 0）附近。
• 在非显著性且符号为正的条件下，后验与先验之比在 θ = 0 处趋于无穷大，其他位置趋于零，表明信息量极大。
• 在显著性且符号为正的条件下，后验收敛于截断于零的先验分布，除非对 θ > 0 的先验信念较弱，否则信息量有限。
• 显著性所能提供的最大信息量是有限的——即使在渐近情况下，后验比也难以超过先验的两倍，当 μ ≥ 0 时尤其如此。
• 在大样本中，显著性信息量的关键取决于对参数符号的先验信念；当先验信念强烈时，显著性几乎不增加新信息。
• 当先验对精确零假设值的概率分配极低时，零假设未能被拒绝通常比拒绝具有更大的科学权重。