[论文解读] Top Tips to Make Your Research Irreproducible

Neil Chue Hong, Tom Crick+3 more|arXiv (Cornell University)|Mar 31, 2015

Privacy-Preserving Technologies in Data参考文献 1被引用 3

一句话总结

这篇讽刺性论文幽默地概述了故意使计算研究无法复现的策略，例如省略方法细节、使用抽象伪代码、拒绝共享数据，以及确保作者自身也无法复现结果。其主要贡献是一份戏谑的宣言，通过模仿不良研究实践，暴露科学出版体系中的缺陷。

ABSTRACT

It is an unfortunate convention of science that research should pretend to be reproducible; our top tips will help you mitigate this fussy conventionality, enabling you to enthusiastically showcase your irreproducible work.

研究动机与目标

• 通过模仿常见不良实践，凸显计算研究中不可复现现象的普遍性。
• 批判科学出版文化中重发表轻可验证性或透明度的倾向。
• 揭示模糊的方法论、缺乏代码与数据共享，以及过度依赖引用如何加剧不可复现性。
• 通过反转可复现性的原则，挑战研究人员与审稿人反思：何为严谨、可复现的科学。

提出的方法

• 主张省略详细的实验设置，仅提供高层次、模糊的描述，以掩盖关键实现细节。
• 提倡使用抽象伪代码来传达思想，而不揭示底层工具链或人工干预细节。
• 鼓励省略方法局限性以节省篇幅，转而引用有影响力的论文以提升h指数。
• 建议创建专有且非公开的基准测试，以规避审查，尤其是在方法在标准数据集上表现不佳时。
• 建议避免共享代码或数据，以防止他人验证结果或发现实现中的缺陷。
• 提出核心策略：确保作者自身无法复现结果——故意粗心大意，使作者自己也无法重现，从而彻底消除他人复现的风险。

实验结果

研究问题

• RQ1 研究人员如何在仍能获得同行评审期刊接受的前提下，故意设计出不可复现的研究？
• RQ2 哪些方法论的省略或混淆最能有效防止复现而不引发怀疑？
• RQ3 缺乏共享数据、代码或详细方法如何导致错误或未经验证的结果长期存在？
• RQ4 当前学术激励机制在哪些方面奖励不可复现性而非透明度？
• RQ5 同行评审体系中的哪些系统性缺陷容许不可复现的研究被发表并像有效科学一样被引用？

主要发现

• 本文表明，不可复现性不仅普遍，而且往往是由方法、代码和数据共享方面的故意省略所促成的。
• 使用抽象伪代码并省略实现细节，能有效阻止他人理解或复现实际的计算过程。
• 创建私有、非公开的基准测试，使研究人员能够避开社区标准数据集的验证，从而增加不可验证声明的可能性。
• 作者认为，若研究人员无法复现自己的工作，则外部复现的风险将被彻底消除，从而使研究在设计上本质上不可复现。
• 本文以讽刺但尖锐的结论收尾：一个不可复现的实验在功能上等同于从未开展过一样，凸显了将不可验证结果视为有效科学的荒谬性。