[论文解读] To Aid Scientific Inference, Emphasize Unconditional Compatibility Descriptions of Statistics

Sander Greenland, Zad Chow+2 more|arXiv (Cornell University)|Sep 18, 2019

Natural Language Processing Techniques被引用 10

一句话总结

本文主张以明确考虑背景假设不确定性在内的无条件相容性描述，取代条件性统计解释（如p值和置信区间）。通过将统计学重新定义为数据与整个模型（包括假设）之间相容性的度量，该方法在不改变计算过程的前提下减少了过度自信，提升了科学推断的可靠性。

ABSTRACT

All scientific interpretations of statistical outputs depend on background (auxiliary) assumptions that are rarely delineated or explicitly interrogated. These include not only the usual modeling assumptions, but also deeper assumptions about the data-generating mechanism that are implicit in conventional statistical interpretations yet are unrealistic in most health, medical and social research. We provide arguments and methods for reinterpreting statistics such as P-values and interval estimates in unconditional terms, which describe compatibility of observations with an entire set of underlying assumptions, rather than with a narrow target hypothesis conditional on the assumptions. Emphasizing unconditional interpretations helps avoid overconfident and misleading inferences in light of uncertainties about the assumptions used to arrive at the statistical results. These include not only mathematical assumptions, but also those about absence of systematic errors, protocol violations, and data corruption. Unconditional descriptions introduce assumption uncertainty directly into the primary statistical interpretations of results, rather than leaving it for the discussion of limitations after presentation of conditional interpretations. The unconditional approach does not entail different methods or calculations, only different interpretation of the usual results. We view use of unconditional description as a vital component of effective statistical training and presentation. By interpreting statistical outputs in unconditional terms, researchers can avoid making overconfident statements based on statistical outputs. Instead, reports should emphasize the compatibility of results with a range of plausible explanations, including assumption violations.

研究动机与目标

• 解决对条件性统计解释的过度依赖问题，此类解释忽略了背景假设中的不确定性。
• 减少因健康、医学和社会研究中未加检验的假设而导致的误导性推断。
• 推动科学报告中统计输出的解释从条件性转向无条件性。
• 通过将假设不确定性直接嵌入主要解释中，提升统计培训的透明度和质量。
• 通过使系统性误差、数据损坏和选择性报告的不确定性在统计描述中显而易见，降低其风险。

提出的方法

• 将标准统计量（p值、置信区间）重新解释为观察数据与数据生成整个模型之间无条件相容性的度量。
• 引入“去条件化”——一种概念上的转变，将假设视为相容性检验的一部分，而非既定前提。
• 使用S值（惊讶值）作为模型信息的对数量度：s = −log₂(p)，为便于理解，实际中四舍五入至最接近的整数。
• 通过简单随机试验或抛硬币的思想实验校准S值，以增强直观理解。
• 将统计结果表述为相容性区间（CIs），而非置信区间，强调其描述的是与数据相容的模型。
• 主张用聚焦于相容性和信息含量的描述性语言，取代“统计显著性”等术语。

实验结果

研究问题

• RQ1 当背景假设存在不确定性时，如何使统计解释更加诚实？
• RQ2 为何传统的条件性解释（如p值、置信区间）尽管技术上正确，仍会导致过度自信的推断？
• RQ3 假设不确定性在现实研究中如何削弱统计推断的有效性？
• RQ4 S值和相容性描述如何在不改变统计计算的前提下改善科学推理？
• RQ5 在统计报告和培训中，哪些实际改变可以减少对误导性条件性解释的依赖？

主要发现

• 无条件相容性描述明确将背景假设中的不确定性（如独立性、线性关系、无混杂、选择性报告）纳入统计结果的主要解释之中。
• 去条件化将假设的逻辑地位从“既定”转变为“需检验”，从而明确表明结果可能由假设违反而非目标假设失效所解释。
• S值（s = −log₂(p)）提供了对模型信息的对数量度，小于1比特的差异代表实际无法区分的证据水平。
• p值为0.031时，对应的S值约为5，其信息含量等同于在完美随机试验中观察到治疗组5例死亡而对照组0例死亡的情形。
• 该方法无需新的计算，仅需将现有统计量重新解释为与一系列合理模型（包括假设被违反的模型）的相容性。
• 该方法通过将假设不确定性置于解释的核心，而非仅在局限性讨论中事后提及，从而提升了科学诚信。