[论文解读] To Aid Scientific Inference, Emphasize Unconditional Descriptions of Statistics

Sander Greenland, Zad Rafi|arXiv (Cornell University)|Sep 18, 2019

Data Analysis with R参考文献 38被引用 9

一句话总结

本文主张以无条件描述取代条件性统计解释（如传统的P值和置信区间），通过评估观察数据与完整假设集（包括模型结构、无偏性及数据完整性）的相容性，来改进统计推断。通过将对假设的不确定性直接嵌入统计报告，该方法可减少过度自信的推断，增强统计教学与沟通中的科学严谨性。

ABSTRACT

We have elsewhere reviewed proposals to reform terminology and improve interpretations of conventional statistics by emphasizing logical and information concepts over probability concepts. We here give detailed reasons and methods for reinterpreting statistics (including but not limited to) P-values and interval estimates in unconditional terms, which describe compatibility of observations with an entire set of analysis assumptions, rather than just a narrow target hypothesis. Such reinterpretations help avoid overconfident inferences whenever there is uncertainty about the assumptions used to derive and compute the statistical results. Examples of such assumptions include not only standard statistical modeling assumptions, but also assumptions about absence of systematic errors, protocol violations, and data corruption. Unconditional descriptions introduce uncertainty about such assumptions directly into statistical presentations of results, rather than leaving that only to the informal discussion that ensues. We thus view unconditional description as a vital component of good statistical training and presentation.

研究动机与目标

• 解决因将假设视为固定且确定而引发的统计推断过度自信问题。
• 减少对概率解释的依赖，以避免掩盖建模和数据质量方面的不确定性。
• 通过无条件描述明确呈现假设，改进统计教学与报告，提升其透明度。
• 将系统性误差、方案偏离和数据损坏等假设的不确定性直接整合到统计结果中，而非推迟至非正式讨论中。

提出的方法

• 将P值和区间估计重新解释为观察数据与完整假设集之间相容性的度量，而不仅针对单一假设。
• 将统计结果表述为无条件陈述，反映数据与所有假设（包括模型结构、数据质量及无偏性）的契合程度。
• 在统计输出中明确承认对假设的不确定性（如方案偏离或数据损坏）。
• 运用信息论和逻辑概念描述相容性，将关注点从基于概率的解释转向更广泛的证据评估。
• 提供结构化报告模板，将假设不确定性直接嵌入结果呈现中。
• 倡导将此方法融入统计教育，以培养更谨慎、更透明的推断实践。

实验结果

研究问题

• RQ1 如何重新解释P值和置信区间，使其反映对底层假设的不确定性，而不仅针对目标假设？
• RQ2 当假设在实践中往往不确定时，将其视为确定会带来何种后果？
• RQ3 如何改革统计报告，使假设的不确定性在结果中可见且明确？
• RQ4 无条件描述在多大程度上提升了科学推断的可靠性？
• RQ5 假设不确定性在统计教学与沟通中应扮演何种角色？

主要发现

• 无条件描述使数据与完整假设集的相容性更加明确，从而减少推断中的过度自信。
• 通过将系统性误差、方案偏离和数据损坏的不确定性纳入统计报告，研究人员可避免得出误导性结论。
• 该方法将关注点从基于概率的解释转向基于逻辑和信息的证据评估，显著提升透明度。
• 通过将假设不确定性直接嵌入统计输出，而非依赖非正式讨论，该方法增强了科学推断的稳健性。
• 无条件描述对于应对现实研究中模型与数据不确定性背景下的统计教学与负责任的数据解释至关重要。
• 以无条件术语重新解释统计量，可在模型与数据不确定性下支持更合理、更具辩护力的科学结论。