[论文解读] Replicability Across Multiple Studies

Marina Bogomolov, Ruth Heller|arXiv (Cornell University)|Oct 2, 2022

Meta-analysis and systematic reviews被引用 4

一句话总结

本文提出统计方法以评估多个研究间的可重复性，重点在于识别在独立研究中一致支持的发现，而非依赖单个研究的显著性。该文引入基于p值的程序，适用于单变量和高维设置，使研究人员能够区分真正可重复的信号与由单个研究噪声或偏差驱动的信号。

ABSTRACT

Meta-analysis is routinely performed in many scientific disciplines. This analysis is attractive since discoveries are possible even when all the individual studies are underpowered. However, the meta-analytic discoveries may be entirely driven by signal in a single study, and thus non-replicable. Although the great majority of meta-analyses carried out to date do not infer on the replicability of their findings, it is possible to do so. We provide a selective overview of analyses that can be carried out towards establishing replicability of the scientific findings. We describe methods for the setting where a single outcome is examined in multiple studies (as is common in systematic reviews of medical interventions), as well as for the setting where multiple studies each examine multiple features (as in genomics applications). We also discuss some of the current shortcomings and future directions.

研究动机与目标

• 为应对元分析中因单个统计功效不足或存在偏差的研究主导结果而引发的可重复性问题日益加剧的担忧。
• 开发明确检验可重复性的统计工具——即检验某一发现是否在多个独立研究中均得到支持，而非仅检验总体显著性。
• 将可重复性分析扩展至高维设置，如基因组学，其中在多个研究中对多个特征进行检验。
• 支持研究人员超越传统元分析，将可重复性作为科学发现的核心标准。
• 通过支持使用汇总统计量和协作研究设计，提升大规模研究中可重复性评估的方法严谨性。

提出的方法

• 提出基于p值的方法，检验无可重复性的原假设，具体为：至少r个n项研究中显示对非零效应的显著证据。
• 引入基于PC p值的复合原假设检验，评估发现是否在多个研究中可重复，同时控制假发现率。
• 调整现有多重检验程序，以支持灵活的、研究特定的检验统计量和权重，实现在协作环境中的定制化可重复性分析。
• 通过检验在至少r/n项研究中存在信号的特征，将框架扩展至高维设置，适用于神经影像学和全基因组关联研究（GWAS）数据。
• 引入双团队设计，每个团队基于自身数据为另一项研究设计多重检验程序，确保独立性与灵活性。
• 在观察性研究中利用证据因子，将证据分解为近乎独立的组成部分，增强对不同偏差的鲁棒性。

实验结果

研究问题

• RQ1 如何区分由单个研究驱动的发现与在多个独立研究中一致支持的发现？
• RQ2 当多个研究检验相同结果时，可使用哪些统计方法在元分析中检验可重复性？
• RQ3 在高维设置（如基因组学）中，如何评估可重复性，其中在多个研究中对成千上万个特征进行检验？
• RQ4 如果数据能通过年龄、性别等协变量有意义地分割，是否可仅凭单个研究建立可重复性？
• RQ5 协作研究设计如何在不损害统计有效性的情况下，提升可重复性分析的灵活性与鲁棒性？

主要发现

• 所提出的基于p值的可重复性检验能有效排除由单个研究驱动的发现，降低错误发现的风险。
• 在高维设置中，该方法可识别在至少r/n项研究中存在信号的特征，实现对跨受试者或研究的可重复信号的一致检测。
• 双团队协作设计实现了独立、灵活且鲁棒的可重复性分析，提高了多研究研究中发现的可靠性。
• 在观察性研究中使用证据因子可增强可重复性评估的鲁棒性，通过分离偏差来源并提高信息的独立性。
• 可重复性分析可应用于汇总层面数据（如GWAS联盟数据），使将现有研究纳入可重复性评估成为可能。
• 该框架支持使用灵活的检验统计量和权重，使研究人员能够纳入对哪些假设更可能可重复的先验信念。