[论文解读] Thought-Like-Pro: Enhancing Reasoning of Large Language Models through Self-Driven Prolog-based Chain-of-Thought

Xiaoyu Tan, Yongxin Deng+6 more|arXiv (Cornell University)|Jul 18, 2024

Topic Modeling被引用 4

一句话总结

本文提出 Thought-Like-Pro，一种自驱动框架，通过模仿经验证的 Prolog 生成的推理轨迹，提升大型语言模型的推理能力。通过使用符号式 Prolog 引擎生成正确的逻辑推理，并将其转换为自然语言的思维链（CoT）提示，该方法使 LLM 能够学习到稳健且可泛化的推理模式，在分布外推理任务上表现显著提升，且灾难性遗忘极少。

ABSTRACT

Large language models (LLMs) have shown exceptional performance as general-purpose assistants, excelling across a variety of reasoning tasks. This achievement represents a significant step toward achieving artificial general intelligence (AGI). Despite these advancements, the effectiveness of LLMs often hinges on the specific prompting strategies employed, and there remains a lack of a robust framework to facilitate learning and generalization across diverse reasoning tasks. To address these challenges, we introduce a novel learning framework, THOUGHT-LIKE-PRO In this framework, we utilize imitation learning to imitate the Chain-of-Thought (CoT) process which is verified and translated from reasoning trajectories generated by a symbolic Prolog logic engine. This framework proceeds in a self-driven manner, that enables LLMs to formulate rules and statements from given instructions and leverage the symbolic Prolog engine to derive results. Subsequently, LLMs convert Prolog-derived successive reasoning trajectories into natural language CoT for imitation learning. Our empirical findings indicate that our proposed approach substantially enhances the reasoning abilities of LLMs and demonstrates robust generalization across out-of-distribution reasoning tasks.

研究动机与目标

• 解决在多样化任务中提升大型语言模型推理能力的通用框架缺乏的问题。
• 通过在形式化验证的符号逻辑引擎中建立推理步骤，减少自回归推理中的错误传播。
• 通过模仿经验证的 CoT 轨迹，弥合符号推理与神经语言模型之间的差距。
• 通过学习逻辑上正确的、经 Prolog 验证的推理路径，使 LLM 能够泛化到分布外推理任务。
• 通过模型平均法，在领域特定微调过程中减轻灾难性遗忘。

提出的方法

• 利用开源 LLM 从自然语言指令和示范中生成 Prolog 事实、规则和查询。
• 使用符号式 Prolog 引擎执行逻辑推理，并验证推理轨迹的正确性。
• 仅选择经验证的推理路径，转换为自然语言的思维链（CoT）序列。
• 将源自 Prolog 的推理步骤转化为结构化、自然语言的 CoT 提示，用于监督微调（SFT）。
• 在微调过程中应用模型平均法，以防止灾难性遗忘并提升泛化能力。
• 采用自驱动循环：LLM 生成逻辑 → Prolog 验证 → 生成 CoT → LLM 在经验证的 CoT 上进行微调。

实验结果

研究问题

• RQ1 通过 Prolog 进行符号验证能否提升 LLM 推理轨迹的可靠性和正确性？
• RQ2 从经验证的 Prolog 推理路径中进行模仿学习，能否增强 LLM 在分布外推理任务上的泛化能力？
• RQ3 将符号逻辑与神经模型结合，对推理准确率和鲁棒性有何影响？
• RQ4 自驱动的、经 Prolog 增强的 CoT 生成在多大程度上能减少自回归推理中的错误传播？
• RQ5 在该混合框架中，模型平均法是否能有效减轻任务特定微调过程中的灾难性遗忘？

主要发现

• 所提出的 Thought-Like-Pro 框架在多样化推理任务中显著提升了 LLM 的推理能力。
• 该方法在分布外推理任务上表现出稳健的泛化能力，优于标准 CoT 和 few-shot 提示。
• 来自 Prolog 引擎的经验证推理轨迹消除了错误的推理路径，减少了 LLM 中的错误传播。
• 在微调过程中使用模型平均法，有效缓解了灾难性遗忘，保持了对先前学习任务的性能。
• 该框架成功将基于 Prolog 的逻辑推理转化为自然语言 CoT，使 LLM 能够有效进行模仿学习。
• 实证结果证实，经过 Prolog 验证的 CoT 序列微调的 LLM 在复杂逻辑和算术推理任务中实现了更高的准确率和一致性。