[论文解读] Towards an OSF-based Registered Report Template for Software Engineering Controlled Experiments

Ana B. M. Bett, Thais Nepomuceno+4 more|arXiv (Cornell University)|Feb 10, 2026

Scientific Computing and Data Management被引用 0

一句话总结

本论文提出基于 OSF 的 Registered Report (RR) 第1阶段模板，用于软件工程对照实验，分析 OSF RR 类型与 Jedlitschka 2008 指南的对应关系，并讨论面向 SE 的 RR 指南的差距、局限性及未来行动。

ABSTRACT

Context: The empirical software engineering (ESE) community has contributed to improving experimentation over the years. However, there is still a lack of rigor in describing controlled experiments, hindering reproducibility and transparency. Registered Reports (RR) have been discussed in the ESE community to address these issues. A RR registers a study's hypotheses, methods, and/or analyses before execution, involving peer review and potential acceptance before data collection. This helps mitigate problematic practices such as p-hacking, publication bias, and inappropriate post hoc analysis. Objective: This paper presents initial results toward establishing an RR template for Software Engineering controlled experiments using the Open Science Framework (OSF). Method: We analyzed templates of selected OSF RR types in light of documentation guidelines for controlled experiments. Results: The observed lack of rigor motivated our investigation of OSF-based RR types. Our analysis showed that, although one of the RR types aligned with many of the documentation suggestions contained in the guidelines, none of them covered the guidelines comprehensively. The study also highlights limitations in OSF RR template customization. Conclusion: Despite progress in ESE, planning and documenting experiments still lack rigor, compromising reproducibility. Adopting OSF-based RRs is proposed. However, no currently available RR type fully satisfies the guidelines. Establishing RR-specific guidelines for SE is deemed essential.

研究动机与目标

• 提高软件工程对照实验的严格性、透明度与可重复性。
• 探讨 OSF RR 类型与既定的 SE 实验指南（Jedlitschka 等，2008）的一致性。
• 提出初步的基于 OSF 的 SE 控制实验第1阶段 RR 模板。
• 识别差距、局限性及未来在 SE 中采用基于 OSF 的 RR 的行动。

提出的方法

• 将 OSF RR 类型（RR.1、RR.3、RR.10、RR.11）与 Jedlitschka 2008 的 SE 指南进行对比。
• 排除不适用于对照实验的 RR 类型，并将剩余类型映射到指南的各个部分（文档、计划、操作、分析）。
• 提出初步的基于 OSF 的 SE 控制实验第1阶段 RR 模板。
• 分析经验教训、局限性及对未来 SE RR 发展的影响。

实验结果

研究问题

• RQ1 如何基于现有指南为 SE 控制实验设计一个 RR 模板？
• RQ2 哪些 OSF RR 类型最能支持 SE 控制实验的文档与计划需求？
• RQ3 OSF RR 提供与 Jedlitschka（2008） SE 指南之间还存在哪些差距，如何解决？
• RQ4 为推进基于 OSF 的 RR 在软件工程中的采用，还需要哪些未来行动？

主要发现

• OSF RR 类型尚未全面覆盖 SE 指南；没有一个完全满足 Jedlitschka 2008 的推荐。
• RR.3（定性研究）覆盖的指南最多（37 条中的 33 条），相较之下 RR.1 覆盖 31 条，表明定性研究的支持对齐度较高。
• 在 OSF 上对 RR 的定制受限，无法形成同时覆盖所有指南的 RR 模板（将 RR.1 与 RR.3 结合）。
• 基于 OSF 的 RR 在数据驱动、假设检验的研究中具有明显优势，但在探索性或设计导向的 SE 研究中存在局限。
• RR 提倡规划、透明度与早期同行评审输入，可能提升研究质量，但也增加规划负担并使阶段1评审进程变慢。
• 研究强调需要面向 SE 的专门 RR 指南，并指出当前的 OSF RR 类型未充分覆盖 SE 实验的所有方面。