[论文解读] TrueReview: A Platform for Post-Publication Peer Review

Luca de Alfaro, Marco Faella|arXiv (Cornell University)|Aug 29, 2016

Expert finding and Q&A systems参考文献 19被引用 4

一句话总结

TrueReview 提出了一种开源的出版后同行评审平台，通过结合评审准确性和信息量的双重奖励机制，激励高质量、真实且富有信息量的评审。模拟结果表明，该激励模型显著提升了评审质量与评审人声誉的准确性，优于仅基于准确性的方法或无奖励的方法。

ABSTRACT

In post-publication peer review, scientific contributions are first published in open-access forums, such as arXiv or other digital libraries, and are subsequently reviewed and possibly ranked and/or evaluated. Compared to the classical process of scientific publishing, in which review precedes publication, post-publication peer review leads to faster dissemination of ideas, and publicly-available reviews. The chief concern in post-publication reviewing consists in eliciting high-quality, insightful reviews from participants. We describe the mathematical foundations and structure of TrueReview, an open-source tool we propose to build in support of post-publication review. In TrueReview, the motivation to review is provided via an incentive system that promotes reviews and evaluations that are both truthful (they turn out to be correct in the long run) and informative (they provide significant new information). TrueReview organizes papers in venues, allowing different scientific communities to set their own submission and review policies. These venues can be manually set-up, or they can correspond to categories in well-known repositories such as arXiv. The review incentives can be used to form a reviewer ranking that can be prominently displayed alongside papers in the various disciplines, thus offering a concrete benefit to reviewers. The paper evaluations, in turn, reward the authors of the most significant papers, both via an explicit paper ranking, and via increased visibility in search.

研究动机与目标

• 通过加快科学论文的公开传播，解决预出版同行评审中存在的延迟与低效问题。
• 激励出版后评审系统中高质量、真实且富有信息量的评审。
• 设计一种评审人激励机制，同时奖励准确性（正确评估）与信息量（新信息贡献）。
• 创建一个基于质量和声誉对论文与评审人进行排名的平台，以增强可见性与可信度。
• 支持科学社区自定义投稿与评审场所，包括与 arXiv 等存储库的集成。

提出的方法

• 该系统采用乘法奖励模型，结合准确性与信息量，以激励评审人。
• 准确性通过将评审的评估结果与同一论文未来的评估结果进行比较来衡量。
• 信息量通过添加新评审后论文平均评估值的变化来量化。
• 评审人根据累积的评审奖励积分进行排名，该积分与论文一同显示，以增强可见性。
• 该平台支持多种场所，包括社区定义的场所以及映射到 arXiv 类别的场所。
• 模拟了两种用户模型：一种是评审人独立形成观点，另一种是基于先前评审结果使用贝叶斯推断更新信念。

实验结果

研究问题

• RQ1 在不依赖预出版同行评审的前提下，出版后评审系统能否有效激励真实且富有信息量的评审？
• RQ2 在奖励机制中同时结合准确性与信息量，相较于仅基于准确性的模型或无激励模型，对评审质量与可靠性有何影响？
• RQ3 该激励结构在多大程度上提升了评审人声誉的准确性并降低了评估的全局损失？
• RQ4 不同的用户建模假设（如独立观点形成与贝叶斯更新）如何影响激励系统的性能？
• RQ5 当评审人具备不同水平的能力与主题专长时，该系统是否仍能实现高水平的评审质量？

主要发现

• 结合准确性和信息量的乘法奖励机制在模拟中显著优于仅基于准确性的策略或无奖励策略。
• 在 3000 次评审后，系统仅产生 8% 的全局损失，表明评审评估与论文真实质量高度一致。
• 评审人能力与声誉之间存在正相关关系，表明系统能有效识别并排名高水平评审人。
• 对论文质量的估计相对误差仅为 0.74，表明评估具有高精度。
• 第一种用户模型（独立观点形成）比第二种模型（贝叶斯推断）更快降低全局损失，原因在于其对单个评审的最优加权。
• 系统表现出明显倾向：奖励在自身具备专长的论文上表现更优的评审人，从而整体提升了评估质量。