[论文解读] SciMON: Scientific Inspiration Machines Optimized for Novelty

Qingyun Wang, Doug Downey+2 more|arXiv (Cornell University)|May 23, 2023

Advanced Text Analysis Techniques参考文献 48被引用 11

一句话总结

SciMON 提出一个框架，从文献中检索灵感，并使用迭代的新颖性提升，从问题情境生成新颖、以文献为基础的科学思想，优于标准大语言模型输出，但仍然存在深度和实用性方面的差距。

ABSTRACT

We explore and enhance the ability of neural language models to generate novel scientific directions grounded in literature. Work on literature-based hypothesis generation has traditionally focused on binary link prediction--severely limiting the expressivity of hypotheses. This line of work also does not focus on optimizing novelty. We take a dramatic departure with a novel setting in which models use as input background contexts (e.g., problems, experimental settings, goals), and output natural language ideas grounded in literature. We present SciMON, a modeling framework that uses retrieval of "inspirations" from past scientific papers, and explicitly optimizes for novelty by iteratively comparing to prior papers and updating idea suggestions until sufficient novelty is achieved. Comprehensive evaluations reveal that GPT-4 tends to generate ideas with overall low technical depth and novelty, while our methods partially mitigate this issue. Our work represents a first step toward evaluating and developing language models that generate new ideas derived from the scientific literature

研究动机与目标

• 让 AI 生成以文献为基础的新颖科学方向成为现实（并形式化），而不是简单的二元链接。
• 创建一个数据驱动的管线，用于训练和评估在问题情境中生成想法的模型。
• 开发一个迭代新颖性优化机制，在保持相关性的同时把生成的想法从现有文献中推进出去。

提出的方法

• 收集并对大量论文进行预处理，以使用科学信息抽取（IE）提取背景/问题句子及相应的想法。
• 构建背景情境和种子术语，并从语义邻居、知识图谱和基于引用的来源检索灵感。
• 使用上下文学习和可选微调，借助 LLM（GPT-3.5/4，T5）生成想法，并通过内嵌对比目标来减少对背景的抄袭。
• 实现一个迭代的新颖性提升循环，检索相似想法、对照参考语料库对新颖性进行评分，并更新想法以在达到阈值前提升新颖性。
• 引入新颖性惩罚机制，并将检索到的相关工作用作负向提示，鼓励产生更具差异性的想法。
• 通过跨 NLP 和生物医学领域的人类研究评估相关性、新颖性和技术深度。

实验结果

研究问题

• RQ1 如何将问题情境输入转化为以文献为基础的新颖想法？
• RQ2 从文献检索灵感并进行迭代新颖性提升，是否能在新颖性和技术深度方面优于基线 LLM？
• RQ3 当前 LLM 在生成人类科学点子方面的局限性是什么？检索增强的方法如何缓解？
• RQ4 SciMON 在不同领域（如 NLP/AI 与生物医学）上的可迁移性如何？

主要发现

• 基于 GPT-4 的输出可能更冗长且有时更有帮助，但若不进行增强，总体的新颖性和技术深度有限。
• 结合语义邻居、知识图谱与基于引用的灵感的检索增强生成在新颖性和深度方面相较基线有所提升。
• 迭代的新颖性提升（检索-比较-更新）在相当一部分案例中提高了新颖性（例如第一轮迭代在大多数更新中带来显著新颖性）。
• 在域内和跨域（NLP 与生物医学）实验表明想法质量有所提高，但真实的、作为基线的想法在新颖性和技术深度方面仍明显更高。
• 人工评估显示，使用 KG 和 SN 增强的 GPT-4 表现优于其他基线，尽管在新颖性和技术深度方面的想法仍落后于真实论文。