[论文解读] Publication Bias (The "File-Drawer Problem") in Scientific Inference

Jeffrey D. Scargle|ArXiv.org|Sep 17, 1999

Meta-analysis and systematic reviews参考文献 40被引用 315

一句话总结

本文挑战了广泛使用的失败安全文件柜（FSFD）方法在元分析中评估发表偏倚的可靠性，表明即使仅有少量未发表研究，也会严重扭曲合并的统计结果。通过选择函数的统计模型——截断型、阶梯型和光滑型——Scargle 展示了发表偏倚会导致效应量估计的显著扭曲，使得 FSFD 不可靠，因为它假设文件柜是无偏的。

ABSTRACT

Publication bias arises whenever the probability that a study is published depends on the statistical significance of its results. This bias, often called the file-drawer effect since the unpublished results are imagined to be tucked away in researchers' file cabinets, is potentially a severe impediment to combining the statistical results of studies collected from the literature. With almost any reasonable quantitative model for publication bias, only a small number of studies lost in the file-drawer will produce a significant bias. This result contradicts the well known Fail Safe File Drawer (FSFD) method for setting limits on the potential harm of publication bias, widely used in social, medical and psychic research. This method incorrectly treats the file drawer as unbiased, and almost always misestimates the seriousness of publication bias. A large body of not only psychic research, but medical and social science studies, has mistakenly relied on this method to validate claimed discoveries. Statistical combination can be trusted only if it is known with certainty that all studies that have been carried out are included. Such certainty is virtually impossible to achieve in literature surveys.

研究动机与目标

• 调查发表偏倚（即研究是否发表取决于统计显著性）如何影响合并统计分析的有效性。
• 挑战广泛用于估计使显著结果失效所需未发表研究数量的失败安全文件柜（FSFD）方法的可靠性。
• 使用基于研究结果（如检验统计量 Z）变化的选择函数，开发并分析发表偏倚的统计模型。
• 证明即使仅有少量未发表研究，发表偏倚也能导致虚假显著性，从而破坏基于文献的元分析的可信度。
• 倡导改进研究实践，如研究注册制度，以减轻科学推断中的发表偏倚。

提出的方法

• 使用选择函数 S(Z) 建模发表偏倚，其中 S(Z) = 拥有检验统计量 Z 的研究被发表的概率。
• 分析三种类型的选择函数：截断型（S(Z) = 0 当 Z < Z₀，否则为 1）、阶梯型（S₀ 当 Z < Z₀，1 当 Z ≥ Z₀）和光滑函数。
• 推导在这些模型下已发表研究数量（N_pub）和已发表 Z 评分的均值（Z̄_pub）的解析表达式。
• 使用互补误差函数（erfc）和正态积分，计算由于选择性发表导致的 Z̄_pub 的期望偏差。
• 将少量未发表研究引入的偏差与 FSFD 方法的假设和输出进行比较。
• 通过不同选择函数形状（包括平滑过渡）评估结果的稳健性，以确认发现的一致性。

实验结果

研究问题

• RQ1 当仅包含已发表研究时，发表偏倚如何扭曲合并统计分析的结果？
• RQ2 为何失败安全文件柜（FSFD）方法在估计发表偏倚影响方面本质上存在缺陷？
• RQ3 少量未发表研究对元分析中平均效应量的定量影响是什么？
• RQ4 不同选择函数（截断型、阶梯型、光滑型）如何基于统计显著性建模发表概率？
• RQ5 在何种条件下，基于已发表文献的合并分析可被视为无偏？

主要发现

• 即使仅有少量未发表研究——如几十项——也会在已发表检验统计量的均值（Z̄_pub）中产生显著偏差，导致虚假显著性。
• 广泛使用的失败安全文件柜（FSFD）方法本质上存在缺陷，因为它假设文件柜是无偏的，导致严重低估使结果失效所需的真实未发表研究数量。
• 对于 S₀ ≈ 0 且 Z₀ >> 0 的阶梯型选择函数，未发表与已发表研究之比（R = N_filed / N_pub）会变得极大，表明即使文件柜规模极小，也存在严重偏倚。
• 除非选择概率 S₀ 接近 1，否则已发表 Z 评分的均值（Z̄_pub）会显著被夸大，这意味着几乎所有研究都必须无差别地发表，才能避免偏倚。
• 除非包含所有研究——无论已发表或未发表——否则基于文献的统计合并分析无法被信任为无偏，而这一条件在实践中极少满足。
• 分析表明，发表偏倚甚至会影响单个已发表研究，因为决定发表某项论文而非另一项本身也受相同偏倚机制的影响。