[论文解读] When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMs

Ryo Kamoi, Yusen Zhang+3 more|arXiv (Cornell University)|Jun 3, 2024

Legal Education and Practice Innovations被引用 4

一句话总结

本文对大语言模型（LLMs）中的自我校正进行了批判性综述，识别出 LLM 能够可靠地纠正自身错误的条件。研究发现，在上下文学习中，自我校正普遍失败，但在使用可靠外部反馈或大规模微调时则成功，凸显了反馈生成是主要瓶颈。

ABSTRACT

Self-correction is an approach to improving responses from large language models (LLMs) by refining the responses using LLMs during inference. Prior work has proposed various self-correction frameworks using different sources of feedback, including self-evaluation and external feedback. However, there is still no consensus on the question of when LLMs can correct their own mistakes, as recent studies also report negative results. In this work, we critically survey broad papers and discuss the conditions required for successful self-correction. We first find that prior studies often do not define their research questions in detail and involve impractical frameworks or unfair evaluations that over-evaluate self-correction. To tackle these issues, we categorize research questions in self-correction research and provide a checklist for designing appropriate experiments. Our critical survey based on the newly categorized research questions shows that (1) no prior work demonstrates successful self-correction with feedback from prompted LLMs, except for studies in tasks that are exceptionally suited for self-correction, (2) self-correction works well in tasks that can use reliable external feedback, and (3) large-scale fine-tuning enables self-correction.

研究动机与目标

• 为解决关于 LLM 是否能够自我纠正其自身错误的共识缺失问题。
• 识别并分类自我校正研究中的研究问题，以改进实验设计。
• 评估不同反馈来源下自我校正的有效性：上下文学习、外部工具/知识，以及微调。
• 提供一个设计公平且有效的自我校正实验的检查清单。
• 基于对先前工作的实证分析，明确自我校正何时有效、何时失败。

提出的方法

• 将自我校正研究中的研究问题分为三类：内在自我校正（上下文学习）、带外部反馈的自我校正，以及通过微调实现的自我校正。
• 分析了 28项先前研究，涵盖推理、编程和问答任务，以评估在不同反馈来源下自我校正的表现。
• 识别出先前工作中存在缺陷的评估实践，例如不公平的比较和缺乏强基线。
• 提出一个设计有效实验的检查清单，包括适当的基线比较和负面结果的报告。
• 评估反馈质量是自我校正中的主要瓶颈，尤其是在仅依赖上下文学习而无外部监督时。
• 研究任务特性（如可分解性）在实现有效自我校正中的作用。

Figure 1 : Self-correction in three stages: initial response generation, feedback, and refinement.

实验结果

研究问题

• RQ1 在仅使用上下文学习而无外部反馈的情况下，LLM 在何种条件下能够实现自我校正？
• RQ2 当可信赖的外部反馈（如来自工具或搜索）可用时，自我校正的效率如何？
• RQ3 大规模微调能否实现稳健的自我校正？其与其它方法相比表现如何？
• RQ4 为何一些自我校正框架尽管理论前景良好，却仍会失败？
• RQ5 先前自我校正评估中的关键设计缺陷是什么，导致性能被高估？

主要发现

• 没有先前研究在通用任务中成功实现仅通过提示 LLM 生成的反馈进行自我校正，表明上下文学习在自我校正方面存在根本性局限。
• 在可获得可靠外部反馈的任务中，自我校正表现良好，例如代码执行或网络搜索，因为其输出可验证。
• 大规模微调显著提升了自我校正性能，表明模型能力可以通过学习获得，而非仅通过推理推断。
• 具有可分解响应的任务（如分步推理）即使在仅使用上下文学习时也更易于实现自我校正。
• 许多先前研究采用不公平的评估设置，例如基线过强或缺乏与强替代方案的比较，导致自我校正收益被高估。
• 反馈生成是自我校正的主要瓶颈，尤其是在完全依赖上下文学习而无外部监督时。

Figure 2 : LLM self-correction frameworks, categorized by information used for generating feedback and whether they use best-possible initial responses (§ 3.2 ). This figure illustrates representative architectures.