[论文解读] Thought Propagation: An Analogical Approach to Complex Reasoning with Large Language Models

Junchi Yu, Ran He+1 more|arXiv (Cornell University)|Oct 6, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出思维传播（Thought Propagation, TP），一种类比推理框架，通过重用先前解决过的相似问题的解决方案来增强大语言模型（LLMs）的复杂推理能力。TP 引导 LLM 识别类比问题，求解它们，并聚合其解决方案以优化或引导目标任务的推理过程，在无需任务特定提示工程的情况下，实现比基线方法最高 15% 的任务完成率提升。

ABSTRACT

Large Language Models (LLMs) have achieved remarkable success in reasoning tasks with the development of prompting methods. However, existing prompting approaches cannot reuse insights of solving similar problems and suffer from accumulated errors in multi-step reasoning, since they prompt LLMs to reason extit{from scratch}. To address these issues, we propose extbf{ extit{Thought Propagation} (TP)}, which explores the analogous problems and leverages their solutions to enhance the complex reasoning ability of LLMs. These analogous problems are related to the input one, with reusable solutions and problem-solving strategies. Thus, it is promising to propagate insights of solving previous analogous problems to inspire new problem-solving. To achieve this, TP first prompts LLMs to propose and solve a set of analogous problems that are related to the input one. Then, TP reuses the results of analogous problems to directly yield a new solution or derive a knowledge-intensive plan for execution to amend the initial solution obtained from scratch. TP is compatible with existing prompting approaches, allowing plug-and-play generalization and enhancement in a wide range of tasks without much labor in task-specific prompt engineering. Experiments across three challenging tasks demonstrate TP enjoys a substantial improvement over the baselines by an average of 12\% absolute increase in finding the optimal solutions in Shortest-path Reasoning, 13\% improvement of human preference in Creative Writing, and 15\% enhancement in the task completion rate of LLM-Agent Planning.

研究动机与目标

• 解决 LLM 从零开始推理的局限性，即无法重用相似问题的见解，且在多步推理中累积错误。
• 探究类比推理（即借鉴相关问题的解决方案）是否能提升 LLM 推理的鲁棒性和准确性。
• 开发一种即插即用的框架，与现有提示方法兼容，可在无需任务特定工程的情况下增强多样化任务中的推理能力。
• 通过整合成功类比问题求解的知识，减少多步推理中的错误累积。
• 展示类比迁移在复杂推理任务（如最短路径规划、创意写作和 LLM-agent 规划）中的有效性。

提出的方法

• TP 首先提示 LLM 基于语义和结构相似性，提出一组与输入问题相关的类比问题。
• 使用现有的提示技术（如思维链 CoT）求解每个类比问题，生成中间推理轨迹和最终解决方案。
• 聚合模块评估并整合来自类比问题的解决方案，以生成对输入问题的优化解决方案或高层次计划。
• 聚合模块将输入问题与其类比问题进行比较，并制定一个知识密集型计划，以指导或修正 LLM 从零开始的初始推理。
• 采用两种评估策略：自我评估（SE），即 LLM 通过零样本提示判断计划；模拟（SM），即在环境中执行计划以评估性能。
• 该框架与现有 LLM agent（如 ReAct、Reflexion）兼容，可作为插件增强模块应用于各类任务。

实验结果

研究问题

• RQ1 重用类比问题的解决方案是否能提升 LLM 在复杂多步任务中推理的准确性和鲁棒性？
• RQ2 从先前成功问题求解中获得的类比推理如何减少 LLM 推理链中的错误累积？
• RQ3 像思维传播这样的通用框架在无需任务特定提示工程的情况下，能在多大程度上泛化到多样化推理任务？
• RQ4 在 LLM-agent 环境中，整合成功类比问题的见解是否能带来更好的规划效果和更高的任务完成率？
• RQ5 当 TP 与 Reflexion 等基于反思的方法使用相似的试错机制时，两者相比表现如何？

主要发现

• 在最短路径推理任务中，思维传播相比基线方法在找到最优解方面实现了 12% 的绝对性能提升。
• 在创意写作任务中，TP 相比基线方法在人类偏好评分上提升了 13%，表明输出质量更高、更连贯。
• 在 ALFWorld 中的 LLM-agent 规划任务中，TP 相比强基线方法（如 ReAct 和 Reflexion）将任务完成率提高了 15%。
• 即使没有记忆模块用于存储失败记录（如 TP-SE/TP-SM），思维传播仍优于参数化和基于提示的基线方法，证明了正向类比迁移的价值。
• 在 TP-SR-SE 和 TP-SR-SM 等变体中引入自我反思（SR）进一步提升了性能，表明对失败的反思与类比洞察重用之间存在协同效应。
• 图 6 展示了在 6 次试验中性能持续提升，证实了该框架的可靠性及其迭代改进潜力。