[论文解读] The State of Play of Reproducibility in Statistics: An Empirical Analysis

Xin Xiong, Ivor Cribben|arXiv (Cornell University)|Jan 1, 2022

Scientific Computing and Data Management被引用 4

一句话总结

本项实证研究通过尝试复现2010至2021年间发表的93篇基于fMRI的统计学论文的结果，评估了统计学研究中的可复现性。仅有14篇（15.1%）论文实现了完全可复现，即同时具备可执行的代码和能产生匹配结果的真实数据，凸显尽管统计学领域自称为开放，但在可复现性方面仍存在重大缺口。

ABSTRACT

Reproducibility, the ability to reproduce the results of published papers or studies using their computer code and data, is a cornerstone of reliable scientific methodology. Studies where results cannot be reproduced by the scientific community should be treated with caution. Over the past decade, the importance of reproducible research has been frequently stressed in a wide range of scientific journals such as <i>Nature</i> and <i>Science</i> and international magazines such as <i>The Economist</i>. However, multiple studies have demonstrated that scientific results are often not reproducible across research areas such as psychology and medicine. Statistics, the science concerned with developing and studying methods for collecting, analyzing, interpreting and presenting empirical data, prides itself on its openness when it comes to sharing both computer code and data. In this article, we examine reproducibility in the field of statistics by attempting to reproduce the results in 93 published papers in prominent journals using functional magnetic resonance imaging (fMRI) data during the 2010–2021 period. Overall, from both the computer code and the data perspective, among all the 93 examined papers, we could only reproduce the results in 14 (15.1%) papers, that is, the papers provide both executable computer code (or software) with the real fMRI data, and our results matched the results in the paper. Finally, we conclude with some author-specific and journal-specific recommendations to improve the research reproducibility in statistics.

研究动机与目标

• 评估当前统计学研究中可复现性的现状，特别是fMRI研究中的可复现性。
• 调查已发表的统计学论文中计算机代码和真实数据的可获取性与可用性。
• 识别可复现性的系统性障碍，如文件缺失、软件依赖问题和未文档化的代码。
• 评估统计学领域是否真正践行了其在代码和数据共享方面的开放声誉。
• 为作者和期刊提供切实可行的建议，以提升统计学研究中的可复现性标准。

提出的方法

• 从2010至2021年间发表的七种知名期刊中选取93篇基于fMRI的统计学论文。
• 尝试使用提供的计算机代码和真实fMRI数据复现结果，将可复现性定义为能够重新运行分析并匹配已发表结果的能力。
• 评估代码的完整性、正确性及依赖问题，包括文件缺失、损坏的包以及未满足的软件需求。
• 评估数据的可获取性，包括是否提供了原始数据、预处理数据或模拟数据，以及其可用性。
• 根据代码执行情况和结果匹配度，将可复现性结果分类为完全可复现、部分可复现或不可复现。
• 分析期刊层面和作者层面的可复现性模式，以支持政策建议。

实验结果

研究问题

• RQ1 在2010至2021年间发表的统计学fMRI研究中，有多少比例能够使用提供的代码和数据实现完全可复现？
• RQ2 在统计学研究中，阻碍可复现性的最常见技术与程序障碍是什么？
• RQ3 期刊政策与作者实践如何影响代码和数据的可获取性与可用性？
• RQ4 缺失的依赖项、未文档化的代码或不完整的数据集在多大程度上损害了统计学出版物的可复现性？
• RQ5 哪些机构或政策层面的变革能够显著提升统计学研究的可复现性？

主要发现

• 在93篇fMRI基础的统计学论文中，仅有14篇（15.1%）实现了完全可复现，即同时具备可执行的代码和真实数据，并能产生匹配结果。
• 在提供代码的论文中，有47篇（50.5%）存在各类问题，如文件缺失、未满足的软件依赖或执行后结果错误。
• 大量论文依赖非公开或不可访问的数据，28篇论文仅提供了模拟数据或部分预处理数据。
• 常见的技术故障包括缺失的R函数（如“dlda”未找到）、缺失的C++头文件（如“bayes_gfl.h”）以及未满足的系统需求（如“nvcc: Command not found”）
• 尽管统计学领域以开放著称，但84.9%的论文未能达到基本的可复现标准，表明政策与实践之间存在系统性差距。
• 期刊层面的政策被发现不一致，缺乏对代码与数据共享的标准化要求，表明亟需更强有力的机构性执行机制。