[论文解读] Seeking evidence of absence: Reconsidering tests of model assumptions

Alyssa Bilinski, Laura A. Hatfield|arXiv (Cornell University)|May 8, 2018

Meta-analysis and systematic reviews被引用 15

一句话总结

本文挑战了将模型假设检验中不拒绝原假设解释为假设成立的普遍做法，认为此类检验缺乏检测实际显著偏差的能力。文章提出敏感性分析是评估模型假设的更有效替代方法，而非假设检验。

ABSTRACT

Statistical tests can only reject the null hypothesis, never prove it. However, when researchers test modeling assumptions, they often interpret the failure to reject a null of no violation as evidence that the assumption holds. We discuss the statistical and conceptual problems with this approach. We show that equivalence/non-inferiority tests, while giving correct Type I error, have low power to rule out many violations that are practically significant. We suggest sensitivity analyses that may be more appropriate than hypothesis testing.

研究动机与目标

• 批判将假设检验中不拒绝原假设解释为模型假设满足的普遍做法。
• 指出将未能拒绝原假设视为假设有效性的证明在概念和统计上的缺陷。
• 证明等价性检验和非劣性检验虽然控制了第一类错误率，但往往对实际意义重大的违反情况检测能力低下。
• 倡导采用敏感性分析作为评估模型假设稳健性的更合适方法。

提出的方法

• 建议以评估潜在违反影响的敏感性分析替代传统的模型假设检验。
• 强调在评估模型假设时应关注效应量和实际意义，而非p值。
• 提出检验模型结果对假设条件偏离的敏感程度。
• 建议报告在一系列合理偏离情况下的结果，而非依赖二元检验结果。
• 通过模拟和理论分析，比较假设检验与敏感性分析方法的性能。
• 强调在评估假设时，应关注偏离程度的大小，而不仅仅是统计显著性。

实验结果

研究问题

• RQ1 为何将模型假设检验中不拒绝原假设解释为假设成立的证据在统计上存在问题？
• RQ2 等价性检验和非劣性检验在检测模型假设的实际显著违反方面表现如何？
• RQ3 在实践中，依赖p值评估模型假设存在哪些局限性？
• RQ4 敏感性分析为何能为模型假设提供比传统假设检验更有信息量的洞察？
• RQ5 研究人员可采用哪些替代策略来评估其模型对假设违反的稳健性？

主要发现

• 假设检验中未能拒绝原假设，并不能作为假设成立的证据，因为这些检验仅设计用于拒绝，而非确认。
• 等价性与非劣性检验虽然保持了正确的第一类错误率，但往往对实际意义重大的违反检测能力低下。
• 许多显著影响推断的模型假设违反，即使在大样本量下，也难以被标准假设检验检测到。
• 评估合理偏离对假设影响的敏感性分析，相比二元假设检验，能提供更具信息量和稳健的洞察。
• 本文发现，研究人员在评估模型假设时，应优先考虑效应量和实际意义，而非p值。
• 所提出的方法将关注点从检验假设转向评估其对现实世界的影响，从而实现更可靠的模型评估。