[论文解读] Second Workshop on Sustainable Software for Science: Practice and Experiences (WSSSPE2): Submission, Peer-Review and Sorting Process, and Results

Daniel S. Katz, Gabrielle Allen+7 more|arXiv (Cornell University)|Nov 13, 2014

Scientific Computing and Data Management参考文献 19被引用 6

一句话总结

本文记录了第二届科学软件可持续性研讨会（WSSSPE2）所采用的创新投稿、同行评审及协作式主题分组流程，该流程利用EasyChair进行评审，并借助社区驱动工具（well-sorted）实现基于主题的论文聚类。其核心贡献在于提出了一套可扩展、透明且包容的科学软件研讨会组织模型，强调可操作成果、社区参与以及通过arXiv和后续出版物实现的长期文档化。

ABSTRACT

This technical report discusses the submission and peer-review process used by the Second Workshop on Sustainable Software for Science: Practice and Experiences (WSSSPE2) and the results of that process. It is intended to record both the alternative submission and program organization model used by WSSSPE2 as well as the papers associated with the workshop that resulted from that process.

研究动机与目标

• 开发一种可扩展、包容且透明的科学软件研讨会组织流程，以促进广泛社区参与。
• 通过接受简短（4页）且具可操作性的论文，降低投稿门槛，聚焦于软件可持续性的实际改进。
• 通过社区输入实现论文的协作式主题分组，超越仅由组织者主导的临时性整理方式。
• 通过持久且可引用的形式记录流程与成果，确保对贡献者的认可与署名。
• 通过互动环节、分组讨论及后续出版物，推动可操作成果的产出。

提出的方法

• 利用EasyChair实现投稿自动化、审稿人投标及同行评审分配，确保评审分配的结构化与公平性。
• 实施基于社区的论文分组系统（well-sorted），根据内容与兴趣协同将投稿聚类为主题轨道。
• 要求所有投稿通过第三方服务（arXiv或figshare）进行存档，分配DOI，并鼓励采用知识共享许可，以支持共享与再利用。
• 设计 workshop 包含主题演讲、闪电演讲及聚焦于五个核心主题的分组讨论，主题源自聚类后的论文。
• 在技术报告中记录整个流程与成果，计划后续由 workshop 参与者合作发表同行评审论文。
• 采用混合模式，结合正式评审与社区策展，优先考虑可操作性洞见，而非纯理论贡献。

实验结果

研究问题

• RQ1 如何组织可持续科学软件研讨会，以最大化社区参与度与包容性？
• RQ2 哪些机制可支持透明、可扩展且协作式的多样化投稿主题聚类？
• RQ3 如何整合同行评审与社区意见，以提升研讨会成果的质量与相关性？
• RQ4 持久标识符（DOIs）与开放许可在确保研讨会成果长期可见性与可重用性方面发挥何种作用？
• RQ5 研讨会组织流程本身如何成为可持续软件开发实践的范例？

主要发现

• 共收到31篇投稿，其中30篇通过arXiv或figshare完成自存档并获得DOI。
• 平均每篇论文获得4.9份评审，每位审稿人评审4.1篇论文，表明审稿人参与度较高。
• 社区驱动的主题分组流程成功将论文聚类为五个核心主题，包括信用体系、可复现性与软件测试。
• 研讨会流程已记录于技术报告，并通过arXiv公开发布，确保长期可访问性与可引用性。
• 计划开展后续出版物，由多位作者参与，以捕捉并传播研讨会讨论的集体成果。
• 使用EasyChair与well-sorted实现了可扩展、透明且高效的流程，减轻了组织负担，同时增强了社区归属感。