[论文解读] You Can't Publish Replication Studies (and How to Anyways)

Ghulam Jilani Quadri, Paul Rosen|arXiv (Cornell University)|Aug 23, 2019

Scientific Computing and Data Management参考文献 38被引用 4

一句话总结

本文立场论文探讨了在可视化研究中发表复制研究的挑战，其中新颖性被优先考虑而非可重现性。论文提出通过重新评估、扩展或专业化的方式，将复制工作嵌入到新颖研究中——以克利夫兰与麦吉尔的图形感知研究复制为例，展示了如何通过将复制研究整合到具有附加价值的原创贡献中，使其既具备科学严谨性又具备发表可行性。

ABSTRACT

Reproducibility has been increasingly encouraged by communities of science in order to validate experimental conclusions, and replication studies represent a significant opportunity to vision scientists wishing contribute new perceptual models, methods, or insights to the visualization community. Unfortunately, the notion of replication of previous studies does not lend itself to how we communicate research findings. Simple put, studies that re-conduct and confirm earlier results do not hold any novelty, a key element to the modern research publication system. Nevertheless, savvy researchers have discovered ways to produce replication studies by embedding them into other sufficiently novel studies. In this position paper, we define three methods -- re-evaluation, expansion, and specialization -- for embedding a replication study into a novel published work. Within this context, we provide a non-exhaustive case study on replications of Cleveland and McGill's seminal work on graphical perception. As it turns out, numerous replication studies have been carried out based on that work, which have both confirmed prior findings and shined new light on our understanding of human perception. Finally, we discuss how publishing a true replication study should be avoided, while providing suggestions for how vision scientists and others can still use replication studies as a vehicle to producing visualization research publications.

研究动机与目标

• 解决由于同行评审中过度强调新颖性，导致在可视化与人机交互（HCI）领域系统性难以发表复制研究的问题。
• 证明严格复制研究极少被接受，但若将其嵌入原创研究贡献中，可成功发表。
• 为研究人员提供可操作的策略——重新评估、扩展与专业化——以在保持学术新颖性的同时，将复制研究整合到原创工作中。
• 倡导研究文化转变，通过展示复制研究与创新可共存，尤其在视觉科学与可视化交叉领域。
• 鼓励审稿人与期刊认可复制研究作为科学严谨性的宝贵组成部分，或在同行评审中给予其‘额外加分’。

提出的方法

• 重新评估：在不同人口统计、环境或分析方法下重新审视先前研究，以检验其稳健性并减少偏倚。
• 扩展：通过新增实验，将原始发现延伸至更深层次的理解或揭示原始范围之外的额外见解。
• 专业化：将先前发现应用于特定领域或情境，利用领域特定知识生成新颖贡献。
• 将复制研究嵌入新颖研究中：以复制研究为基础，构建原创的方法论或概念性创新，确保论文满足发表的新颖性标准。
• 利用先前研究的现有数据与实验设计，生成新研究问题，而无需额外数据收集。
• 通过克利夫兰与麦吉尔图形感知研究的案例研究，说明如何系统性地应用并验证复制研究。

实验结果

研究问题

• RQ1 为何尽管具有科学价值，复制研究在可视化与HCI领域仍极少被发表？
• RQ2 研究人员在以新颖性为优先的体系下，如何成功发表复制研究？
• RQ3 哪些策略可将复制研究嵌入原创研究贡献中，同时不损害原创性？
• RQ4 重新评估、扩展与专业化如何使复制研究对新出版物做出有意义的贡献？
• RQ5 复制研究在强化可视化研究基础假设方面可发挥何种作用？

主要发现

• 由于同行评审中新颖性占主导地位，复制研究在可视化与HCI领域系统性地被低估，仅有3%的HCI论文尝试复制研究。
• 严格复制研究极少被接受发表，因其被认为缺乏新颖性，与可视化领域中的应用论文类似。
• 重新评估、扩展与专业化是将复制研究嵌入新颖研究的有效策略，可在验证基础发现的同时实现发表。
• 克利夫兰与麦吉尔图形感知研究已有多项复制研究发表，证实了原始发现，并揭示了关于人类感知与图形编码有效性的新见解。
• 将复制研究整合到原创工作中——如将发现应用于新领域或使用新方法重新分析数据——可产生高影响力且可发表的研究。
• 审稿人与期刊可通过为复制研究组件提供‘额外加分’，提升可重现性，类似于数据可获取性对评审分数的积极影响。