[论文解读] Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions

Cheng Tan, Dongxin Lyu+6 more|arXiv (Cornell University)|Jun 9, 2024

Interdisciplinary Research and CollaborationDecision Sciences被引用 3

一句话总结

本文将学术同行评审重新构塑为具有作者、评审人和决策者三种角色的多轮、长上下文对话，提出了包含26,841篇论文和92,017条标注评审意见的ReviewMT数据集。实验证明，在该数据集上进行监督微调可显著提升大语言模型生成真实、角色特定的评审意见与决策的能力，尤其在多轮交互中表现突出。

ABSTRACT

Large Language Models (LLMs) have demonstrated wide-ranging applications across various fields and have shown significant potential in the academic peer-review process. However, existing applications are primarily limited to static review generation based on submitted papers, which fail to capture the dynamic and iterative nature of real-world peer reviews. In this paper, we reformulate the peer-review process as a multi-turn, long-context dialogue, incorporating distinct roles for authors, reviewers, and decision makers. We construct a comprehensive dataset containing over 26,841 papers with 92,017 reviews collected from multiple sources, including the top-tier conference and prestigious journal. This dataset is meticulously designed to facilitate the applications of LLMs for multi-turn dialogues, effectively simulating the complete peer-review process. Furthermore, we propose a series of metrics to evaluate the performance of LLMs for each role under this reformulated peer-review setting, ensuring fair and comprehensive evaluations. We believe this work provides a promising perspective on enhancing the LLM-driven peer-review process by incorporating dynamic, role-based interactions. It aligns closely with the iterative and interactive nature of real-world academic peer review, offering a robust foundation for future research and development in this area. We open-source the dataset at https://github.com/chengtan9907/ReviewMT.

研究动机与目标

• 为解决现有大语言模型在同行评审中静态、单次输入的局限性，将评审过程建模为动态、迭代的对话。
• 捕捉现实世界同行评审的全部复杂性，包括反驳、反馈循环以及角色特定的责任。
• 构建大规模、多源数据集（ReviewMT），涵盖ICLR和《自然·通讯》等顶级期刊的完整多轮对话标注。
• 设计角色特定的评估指标，公平衡量大语言模型在评审人、作者和决策者角色中的表现。
• 证明在ReviewMT数据集上进行监督微调可显著提升大语言模型生成准确、上下文感知且角色适配的同行评审回复的能力。

提出的方法

• 将同行评审重新构塑为包含作者、评审人和决策者三类角色的多轮、长上下文对话。
• 通过收集ICLR（ICLR）和《自然·通讯》（NC）的真实同行评审互动，构建ReviewMT数据集，包含完整的评审历史和反驳内容。
• 为每一轮对话标注角色特定的上下文信息，确保与完整稿件内容的对齐，并追踪迭代交互过程。
• 设计一套针对各角色的评估指标：评审命中率、决策命中率、F1分数和文本相似度，以衡量响应质量。
• 在ReviewMT数据集上应用监督微调，以提升大语言模型生成角色特定响应的能力。
• 在两个测试集上评估大语言模型：ReviewMT-ICLR（多轮）和ReviewMT-NC（单轮），采用零样本和微调两种设置，并对不同模型进行定量比较。

实验结果

研究问题

• RQ1 同行评审能否被有效建模为一种多轮、角色化的对话，以捕捉真实学术评审中迭代与互动的本质？
• RQ2 多轮交互与长上下文稿件对齐的引入，如何影响大语言模型生成真实同行评审回复的性能？
• RQ3 在ReviewMT数据集上进行监督微调，能在多大程度上提升大语言模型生成准确、上下文相关且角色适配的评审意见与决策的能力？
• RQ4 在多轮同行评审对话的背景下，不同大语言模型架构在评审人、作者和决策者三类角色中的表现如何？
• RQ5 数据集结构——特别是多轮对话与单轮对话——对微调带来的性能提升有何影响？

主要发现

• 在ReviewMT-ICLR数据集上进行监督微调显著提升了大语言模型的性能，最佳模型在评审人角色上达到94.20%的F1分数，决策命中率达到81.11%。
• Gemma模型在决策命中率（81.11%）和F1分数（0.9420）方面表现最佳，表明其在角色特定决策中具有强大能力。
• 零样本性能普遍偏低，大多数模型的决策命中率低于25%，凸显了微调在生成真实同行评审中的必要性。
• 与单轮的ReviewMT-NC数据集相比，ReviewMT-ICLR数据集因具备多轮结构，使微调带来的性能增益更大，凸显了对话复杂性的重要性。
• 文本相似度指标显示，微调后的模型生成的回复在风格和内容上与人类生成的评审意见更为接近，尤其在多轮设置中表现显著。
• Yuan模型虽达到完美的1.0000 F1分数，但决策命中率仅为0.05%，表明其在决策制定方面可能过于受限，尽管评审质量出色。