[论文解读] ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models

Jinheon Baek, Sunil Kumar Jauhar+2 more|arXiv (Cornell University)|Apr 11, 2024

Topic Modeling被引用 13

一句话总结

ResearchAgent 使用带有引用图、以实体为中心的知识存储，以及 ReviewingAgents 的 LLM 增强来自动从科学文献中生成并迭代改进新的研究思路（问题、方法、实验设计）。

ABSTRACT

The pace of scientific research, vital for improving human life, is complex, slow, and needs specialized expertise. Meanwhile, novel, impactful research often stems from both a deep understanding of prior work, and a cross-pollination of ideas across domains and fields. To enhance the productivity of researchers, we propose ResearchAgent, which leverages the encyclopedic knowledge and linguistic reasoning capabilities of Large Language Models (LLMs) to assist them in their work. This system automatically defines novel problems, proposes methods and designs experiments, while iteratively refining them based on the feedback from collaborative LLM-powered reviewing agents. Specifically, starting with a core scientific paper, ResearchAgent is augmented not only with relevant publications by connecting information over an academic graph but also entities retrieved from a knowledge store derived from shared underlying concepts mined across numerous papers. Then, mimicking a scientific approach to improving ideas with peer discussions, we leverage multiple LLM-based ReviewingAgents that provide reviews and feedback via iterative revision processes. These reviewing agents are instantiated with human preference-aligned LLMs whose criteria for evaluation are elicited from actual human judgments via LLM prompting. We experimentally validate our ResearchAgent on scientific publications across multiple disciplines, showing its effectiveness in generating novel, clear, and valid ideas based on both human and model-based evaluation results. Our initial foray into AI-mediated scientific research has important implications for the development of future systems aimed at supporting researchers in their ideation and operationalization of novel work.

研究动机与目标

• 对研究思路生成建立三阶段管线的模型：问题识别、方法开发、实验设计。
• 在 LLM 推理中加入 A) 基于引用图的文献调研、B) 以实体为中心的知识存储，以及 C) 通过 ReviewingAgents 进行迭代同侪评审的增强。
• 使 LLM 的评估标准与人类判断对齐，以产生符合人类偏好的一致评估。
• 证明知识增强和迭代改进的思路在多学科领域对比基线具有更优表现。

提出的方法

• 定义 o = [p, m, d]，其中 p 是问题、m 是方法、d 是由 f(L) 在文献 L 上生成的实验设计。
• 使用基于引用图的文献调研来选择核心论文 l0 和相关论文 {l1,...,ln}，基于引用计数和摘要相似性来构建聚焦的 LLM 输入。
• 从跨论文提取的实体构建以实体为中心的知识存储 K，以稀疏矩阵存储以捕捉共现和跨领域连接。
• 用从 K 检索的相关外部实体来扩展 idea 生成时的上下文：o = LLM(T({l0,...,ln}, Ret({l0,...,ln}; K))).
• 引入 ReviewingAgents，对每个想法（问题、方法、实验）在五个人类对齐的标准上进行批评，从而实现对 o 的迭代改进。
• 通过从人工标注分数中推导提示来校准基于模型的评估标准，以更好地反映人类判断。

实验结果

研究问题

• RQ1 研究问题：LLM 驱动的 ResearchAgent 能否从科学文献中生成新颖、清晰且有效的研究思路（问题、方法、实验）？
• RQ2 在 LLMs 中添加以实体为中心的知识存储和引用图文献调研，是否比基线提高研究思路质量？
• RQ3 通过与人类判断对齐的 ReviewingAgents 的迭代评审是否通过改进步骤提升思路质量？
• RQ4 不同知识源（参考文献与实体）对跨学科领域的思路质量有何贡献？

主要发现

• 完整的 ResearchAgent 在问题、方法和实验设计等方面的评估中，优于消融基线。
• 使用以实体为中心的知识存储可提高思路的原创性和创新性。
• 通过 ReviewingAgents 的迭代改进可提升思路质量，改进在大约三次迭代后趋于饱和。
• 相关参考文献和实体都对性能有贡献，其中参考文献通常提供最强的收益。
• 与人类判断对齐的评估标准提高了模型评估与人类判断之间的一致性。