[论文解读] Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing

Ye Tian, Baolin Peng+5 more|arXiv (Cornell University)|Apr 18, 2024

Artificial Intelligence in Law被引用 4

一句话总结

该论文提出 AlphaLLM，一种大型语言模型（LLMs）的自我改进框架，通过想象-搜索-批判循环将蒙特卡洛树搜索（MCTS）与 LLMs 相结合。通过合成提示、使用具有分层选项的优化 MCTS，以及采用三重批判模型提供精确反馈，AlphaLLM 在无需额外标注的情况下提升了数学推理性能，当使用 MCTS 解码时，性能接近 GPT-4。

ABSTRACT

Despite the impressive capabilities of Large Language Models (LLMs) on various tasks, they still struggle with scenarios that involves complex reasoning and planning. Recent work proposed advanced prompting techniques and the necessity of fine-tuning with high-quality data to augment LLMs' reasoning abilities. However, these approaches are inherently constrained by data availability and quality. In light of this, self-correction and self-learning emerge as viable solutions, employing strategies that allow LLMs to refine their outputs and learn from self-assessed rewards. Yet, the efficacy of LLMs in self-refining its response, particularly in complex reasoning and planning task, remains dubious. In this paper, we introduce AlphaLLM for the self-improvements of LLMs, which integrates Monte Carlo Tree Search (MCTS) with LLMs to establish a self-improving loop, thereby enhancing the capabilities of LLMs without additional annotations. Drawing inspiration from the success of AlphaGo, AlphaLLM addresses the unique challenges of combining MCTS with LLM for self-improvement, including data scarcity, the vastness search spaces of language tasks, and the subjective nature of feedback in language tasks. AlphaLLM is comprised of prompt synthesis component, an efficient MCTS approach tailored for language tasks, and a trio of critic models for precise feedback. Our experimental results in mathematical reasoning tasks demonstrate that AlphaLLM significantly enhances the performance of LLMs without additional annotations, showing the potential for self-improvement in LLMs.

研究动机与目标

• 解决 LLM 在复杂任务中因数据稀缺和推理能力差而产生的局限性。
• 在不依赖外部标注或高质量监督数据的情况下，实现 LLM 的自我改进。
• 通过克服庞大的搜索空间和主观反馈，将 MCTS 适配于自然语言任务。
• 设计一种可扩展的自监督循环，使 LLM 能够自动生成、搜索并批判自身的推理轨迹。
• 证明 MCTS 增强的 LLM 在数学推理方面可达到与 GPT-4 相当的性能。

提出的方法

• 引入一种想象组件，通过合成策略性提示缓解数据稀缺问题。
• 提出 η-MCTS，一种分层 MCTS 变体，将文本生成视为马尔可夫决策过程（MDP）上的选项，实现多级规划。
• 采用三重批判模型——推理、工具增强和内在知识批判模型——提供精确且多维度的响应质量反馈。
• 利用 MCTS 滚开展示的自我对弈轨迹微调策略网络，实现迭代式自我改进。
• 应用状态合并和增加滚开展示以提高搜索效率和收敛性。
• 集成一种奖励模型（ORM），结合内在知识和外部工具，评估复杂推理步骤。

Figure 1: Imagination-Searching-Criticizing self-improvement loop: Imagination component synthesizes prompts as new learning examples, with MCTS searching better trajectories guided by signals from critics for policy improving.

实验结果

研究问题

• RQ1 MCTS 能否有效适配于自然语言生成任务，以实现 LLM 的自我改进？
• RQ2 LLM 如何生成高质量的合成数据，以克服推理任务中的数据稀缺问题？
• RQ3 多 critic 框架能否提供比单 critic 或启发式方法更准确可靠的反馈？
• RQ4 在无额外标注的情况下，MCTS 引导的搜索能在多大程度上提升推理准确性？
• RQ5 通过 MCTS 实现的迭代自我改进是否能持续提升 LLM 的性能？

主要发现

• AlphaLLM 在 GSM8K 数学推理基准上达到 87.0% 的准确率，显著优于基础模型。
• 在 148 次滚开展示下，η-MCTS 在 MATH 数据集上达到 45.4% 的准确率，优于逐句级 MCTS（44.1%），且滚开展示次数更少。
• 引入工具增强型批判模型使性能从 38.8% 提升至 45.4%，证明了外部工具在反馈中的关键作用。
• 在 η-MCTS 滚开展示轨迹上训练的模型优于在重排序轨迹上训练的模型，且在使用 η-MCTS 解码时性能与 GPT-4 相当。
• 经过两轮迭代自我改进，性能持续提升，证实了自我改进循环的可扩展性。
• 消融实验表明，选项设计和外部工具对高性能至关重要，当任一要素被移除时，性能显著下降。

Figure 2: An overview of the four operations of $\eta$ Mcts . A node is selected, expanded, simulated with fast rollout policy until a terminal node is reached, then the signals from value function, PRM and ORM are backpropagated.