[论文解读] Structured Chemistry Reasoning with Large Language Models

Siru Ouyang, Zhuosheng Zhang+5 more|arXiv (Cornell University)|Nov 16, 2023

Semantic Web and Ontologies被引用 7

一句话总结

本文提出 StructChem，一种结构化提示框架，通过将推理过程分解为三个阶段——公式生成、逐步推导和基于置信度的优化——来增强大语言模型（LLMs）在复杂化学推理任务中的表现。该方法使 GPT-4 在复杂化学基准测试中的性能最高提升 30%，通过基于事实的迭代推理显著减少了推理与计算错误。

ABSTRACT

Large Language Models (LLMs) excel in diverse areas, yet struggle with complex scientific reasoning, especially in the field of chemistry. Different from the simple chemistry tasks (e.g., molecule classification) addressed in previous studies, complex chemistry problems require not only vast knowledge and precise calculation, but also compositional reasoning about rich dynamic interactions of different concepts (e.g., temperature changes). Our study shows that even advanced LLMs, like GPT-4, can fail easily in different ways. Interestingly, the errors often stem not from a lack of domain knowledge within the LLMs, but rather from the absence of an effective reasoning structure that guides the LLMs to elicit the right knowledge, incorporate the knowledge in step-by-step reasoning, and iteratively refine results for further improved quality. On this basis, we introduce StructChem, a simple yet effective prompting strategy that offers the desired guidance and substantially boosts the LLMs' chemical reasoning capability. Testing across four chemistry areas -- quantum chemistry, mechanics, physical chemistry, and kinetics -- StructChem substantially enhances GPT-4's performance, with up to 30\% peak improvement. Our analysis also underscores the unique difficulties of precise grounded reasoning in science with LLMs, highlighting a need for more research in this area. Code is available at \url{https://github.com/ozyyshr/StructChem}.

研究动机与目标

• 解决尽管具备相关知识，先进 LLM 如 GPT-4 在复杂化学推理任务中仍持续失败的问题。
• 识别出核心问题并非知识匮乏，而是缺乏有效的推理结构来引导知识提取与逐步推导。
• 开发一种系统化的提示策略，将 LLM 推理划分为三个独立阶段，以提升科学化学问题中的准确率与鲁棒性。
• 证明结构化推理能显著减少推理与计算错误，尤其在涉及多个化学概念动态交互的问题中。
• 通过 StructChem 生成的高质量推理链，实现对小型 LLM 的有效微调，拓展其在大模型之外的应用价值。

提出的方法

• 提出三阶段推理框架：(1) 公式生成，(2) 使用识别出的公式进行逐步推理，(3) 对中间结果进行基于置信度的审查与优化。
• 首先使用 LLM 生成关键化学公式，为后续推理建立基于事实的基础，防止幻觉与无关信息。
• 通过估计每次修订的置信度实现迭代优化，推动逐步改进至高置信度的最终答案。
• 与自我验证方法相区别，通过引入置信度估计与迭代修订，减少对纯提示验证的依赖。
• 在四个不同的化学子领域——量子化学、力学、物理化学与动力学中应用该方法，使用 SciBench 等基准数据集。
• 利用 GPT-4 通过 StructChem 生成的推理链，对小型 LLM（如 Llama-2-13B、Vicuna-13B）进行微调，证明该方法的可迁移性。

实验结果

研究问题

• RQ1 尽管具备相关领域知识，为何 GPT-4 等先进 LLM 在复杂化学推理任务中仍会失败？
• RQ2 结构化提示在多概念、动态化学问题中，能在多大程度上提升 LLM 的准确率与可靠性？
• RQ3 与标准思维链提示相比，公式生成与基于置信度的优化如何提升推理质量？
• RQ4 由 StructChem 生成的推理链能否有效用于微调小型 LLM 以提升性能？
• RQ5 基于 LLM 的化学推理中主导的错误类型是什么？StructChem 如何减少这些错误？

主要发现

• 在四个化学子领域中，StructChem 将 GPT-4 的推理错误减少了最多 30%，尤其在复杂、多概念问题中改善最为显著。
• 在物理化学子领域，该方法使 GPT-4 的性能达到最大绝对提升 30%，显著优于标准思维链提示。
• 即使在无思维链提示的情况下，计算错误仍占错误总数的约 25%，凸显推理步骤精确性的重要性。
• 公式生成阶段极为有效：尽管部分公式无关，但错误公式极为罕见，相关性比正确性对下游性能影响更大。
• 与 CoT 和 PoT 基线相比，StructChem 的性能提升具有成本效益，实现更高准确率的同时未显著增加 token 消耗。
• 使用 StructChem 生成的推理链对小型 LLM（如 Vicuna-13B）进行微调，可实现显著的性能提升，证明该方法具备可迁移性与可扩展性。