[论文解读] Self-Contrast: Better Reflection Through Inconsistent Solving Perspectives

Wenqi Zhang, Yongliang Shen+5 more|arXiv (Cornell University)|Jan 4, 2024

Topic Modeling被引用 4

一句话总结

本文提出 Self-Contrast，一种新颖的自我反思方法，通过生成多样的解题视角，对比其差异，并利用这些差异构建纠正检查清单，从而增强大语言模型（LLM）的推理能力。该方法通过缓解自我评估中的过度自信和不一致性，提升了反思的可靠性，并在无需外部反馈的情况下，在推理和翻译任务中均实现了显著的性能提升。

ABSTRACT

The reflection capacity of Large Language Model (LLM) has garnered extensive attention. A post-hoc prompting strategy, e.g., reflexion and self-refine, refines LLM's response based on self-evaluated or external feedback. However, recent research indicates without external feedback, LLM's intrinsic reflection is unstable. Our investigation unveils that the key bottleneck is the quality of the self-evaluated feedback. We find LLMs often exhibit overconfidence or high randomness when self-evaluate, offering stubborn or inconsistent feedback, which causes poor reflection. To remedy this, we advocate Self-Contrast: It adaptively explores diverse solving perspectives tailored to the request, contrasts the differences, and summarizes these discrepancies into a checklist which could be used to re-examine and eliminate discrepancies. Our method endows LLM with diverse perspectives to alleviate stubborn biases. Moreover, their discrepancies indicate potential errors or inherent uncertainties that LLM often overlooks. Reflecting upon these can catalyze more accurate and stable reflection. Experiments conducted on a series of reasoning and translation tasks with different LLMs serve to underscore the effectiveness and generality of our strategy.

研究动机与目标

• 为解决大语言模型自我反思因过度自信或不一致的自我评估而导致的不稳定性问题。
• 在不依赖外部反馈的前提下，提升大语言模型事后反思的可靠性。
• 开发一种利用内在思维多样性的方法，以发现被忽略的错误。
• 构建一种灵活且自适应的反思机制，以增强推理的广度与深度。
• 在多种大语言模型和任务类型中，证明该方法的通用性与有效性。

提出的方法

• 通过针对输入请求定制的自我引导提示，生成多个解题视角。
• 选择具有显著差异的响应对进行对比分析。
• 分析不同视角之间的差异，以识别潜在错误、被忽略的细节或推理缺陷。
• 将这些差异整合为结构化的检查清单，用于自我纠正。
• 通过提示模型重新审视关键假设和推理步骤，引导修订过程。
• 整个流程完全由大语言模型驱动，无需预定义的代理角色或人工提示工程。

实验结果

研究问题

• RQ1 为何大语言模型的自我反思在采用事后提示策略后仍常常失败？
• RQ2 大语言模型自我评估的不稳定性，特别是过度自信和不一致性的成因是什么？
• RQ3 对比多个解题视角能否提升自我反思的质量？
• RQ4 内在的推理多样性如何带来更可靠的错误检测与纠正？
• RQ5 一种由模型自主驱动的对比性反思机制，能否在无外部反馈的情况下超越标准自我评估？

主要发现

• Self-Contrast 在多个推理和翻译任务中显著提升了反思性能。
• 该方法通过缓解自我评估中的过度自信和不一致性，降低了自我修正的失败率。
• 在测试基准中，Self-Contrast 平均将错误初始响应的修正率从 15.1% 提升至 40% 以上。
• 该方法在不同大语言模型上均表现出一致的性能增益，显示出强大的泛化能力。
• 对多样化视角的对比分析能够发现单视角评估所遗漏的错误。
• 生成的检查清单在引导准确修订方面极为有效，优于标准自我反思基线方法。