[论文解读] Why we (usually) don't have to worry about multiple comparisons

Andrew Gelman, Jennifer Hill+1 more|ArXiv.org|Jul 15, 2009

Statistical Methods in Clinical Trials参考文献 25被引用 15

一句话总结

该论文认为，在使用分层贝叶斯多层模型时，经典统计学中的多重比较校正通常并不必要，因为多层模型通过部分池化自然地处理了多重性问题。通过将估计值收缩至共同均值，多层模型减少了类型S错误和类型M错误，从而在不增加第一类错误率或牺牲统计功效的前提下，提供了更可靠、更高效的估计。

ABSTRACT

Applied researchers often find themselves making statistical inferences in settings that would seem to require multiple comparisons adjustments. We challenge the Type I error paradigm that underlies these corrections. Moreover we posit that the problem of multiple comparisons can disappear entirely when viewed from a hierarchical Bayesian perspective. We propose building multilevel models in the settings where multiple comparisons arise. Multilevel models perform partial pooling (shifting estimates toward each other), whereas classical procedures typically keep the centers of intervals stationary, adjusting for multiple comparisons by making the intervals wider (or, equivalently, adjusting the $p$-values corresponding to intervals of fixed width). Thus, multilevel models address the multiple comparisons problem and also yield more efficient estimates, especially in settings with low group-level variation, which is where multiple comparisons are a particular concern.

研究动机与目标

• 挑战应用研究中对经典多重比较校正（如Bonferroni校正）的常规依赖。
• 主张多重比较问题应通过改进建模而非p值校正来更好地解决。
• 证明多层模型通过跨组借用信息，可减少估计误差并改善推断。
• 倡导将分层贝叶斯建模作为在多重比较场景下比经典校正更一致且更高效的方法。
• 表明多层模型在精度和稳健性方面优于经典方法，尤其在组间方差较低时。

提出的方法

• 提出同时估计多个参数，通过拟合具有分层结构的贝叶斯模型，实现组间部分池化。
• 利用收缩效应将个体估计值拉向总体均值，减少极端估计值，提升估计可靠性。
• 采用分层结构建模数据，其中组级参数从共同超分布中抽取，实现信息共享。
• 用一致的概率框架替代经典p值校正，以原则化方式反映不确定性。
• 使用来自婴儿健康与发展计划的真实数据，将多层模型结果与经典方法（如Bonferroni校正）进行比较。
• 通过引入交互项和嵌套或交叉因子的随机效应，将多层模型扩展以处理复杂结构（如多个结果、子组）。

实验结果

研究问题

• RQ1 为何经典多重比较校正在社会科学和项目评估场景中存在问题？
• RQ2 分层贝叶斯建模为何比p值校正更有效地解决多重比较问题？
• RQ3 多层模型在估计效率方面如何优于经典推断，以及如何减少类型S错误和类型M错误？
• RQ4 多层模型能否在具有多个结果和子组的复杂高维比较问题中实际应用？
• RQ5 在精度、统计功效和可解释性方面，多层建模相比经典校正有何相对优势？

主要发现

• 多层模型通过将极端估计值收缩至总体均值，降低了类型S错误和类型M错误的风险，从而提高了推断的可靠性。
• 由于部分池化的作用，当组间方差较低时，多层模型的估计精度高于经典方法。
• 与Bonferroni校正相比，多层模型即使在考虑64次比较的多结果分析中，仍能产生更窄且更准确的不确定性区间。
• 多层方法自然地将多重性纳入模型结构，从而无需事后校正。
• 在具有复杂组结构（如2×3×4×5）的场景中，多层模型可扩展以反映实际数据层次结构，避免将所有比较视为可交换的陷阱。
• 多层建模的优势不仅限于多重性处理；它还能通过正确建模组内相关性和误差结构，改善估计效果。