[论文解读] RCOT: Detecting and Rectifying Factual Inconsistency in Reasoning by Reversing Chain-of-Thought

Tianci Xue, Ziqi Wang+4 more|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用 5

一句话总结

RCOT（反向思维链）是一种新颖的方法，通过从解题过程反向重构问题并将其与原始问题进行对比，来检测和修正大语言模型生成推理中的事实性不一致。它利用细粒度反馈纠正幻觉、遗漏和误解，已在七个算术推理数据集上达到最先进性能，当使用人工编写的反馈时，ChatGPT在GSM8K上的准确率高达94.6%。

ABSTRACT

Large language Models (LLMs) have achieved promising performance on arithmetic reasoning tasks by incorporating step-by-step chain-of-thought (CoT) prompting. However, LLMs face challenges in maintaining factual consistency during reasoning, exhibiting tendencies to condition overlooking, question misinterpretation, and condition hallucination over given problems. Existing methods use coarse-grained feedback (e.g., whether the answer is correct) to improve factual consistency. In this work, we propose RCoT (Reversing Chain-of-Thought), a novel method to improve LLMs' reasoning abilities by automatically detecting and rectifying factual inconsistency in LLMs, generated solutions. To detect factual inconsistency, RCoT first asks LLMs to reconstruct the problem based on generated solutions. Then fine-grained comparisons between the original problem and the reconstructed problem expose the factual inconsistency in the original solutions. To rectify the solution, RCoT formulates detected factual inconsistency into fine-grained feedback to guide LLMs in revising solutions. Experimental results demonstrate improvements of RCoT over standard CoT, Self-Consistency and Self-Refine across seven arithmetic datasets. Moreover, we find that manually written fine-grained feedback can dramatically improve LLMs' reasoning abilities (e.g., ChatGPT reaches 94.6% accuracy on GSM8K), encouraging the community to further explore the fine-grained feedback generation methods.

研究动机与目标

• 为解决大语言模型推理中持续存在的事实性不一致问题，如条件幻觉、遗漏和问题误解。
• 开发一种能够以细粒度精度检测不一致性的方法，超越粗粒度正确性反馈。
• 生成可操作、可解释的反馈，使大语言模型能够有效修正其解题过程。
• 证明细粒度反馈显著提升推理准确率，尤其是在与强提示工程结合时。
• 建立一个自动化检测和纠正思维链推理中事实性错误的框架。

提出的方法

• RCOT首先使用反向提示策略，从大语言模型生成的解题结果中重构出原始问题。
• 通过将重构后的问题与原始问题进行细粒度对比，检测事实性不一致。
• 将检测到的不一致转化为精确、自然语言的反馈，突出显示具体错误（例如，虚构的条件、被忽略的约束）。
• 利用该反馈引导大语言模型逐步修正原始解题过程。
• 该方法迭代应用，通过多轮反馈与修正实现自我修正。
• RCOT在包括GPT-3.5和ChatGPT在内的多种大语言模型上，于七个算术推理数据集上进行了评估。

实验结果

研究问题

• RQ1 反向问题重构能否有效检测大语言模型生成推理中的事实性不一致？
• RQ2 基于不一致检测生成的细粒度反馈，是否比粗粒度反馈更显著提升推理准确率？
• RQ3 在事实一致性和准确率方面，RCOT与标准CoT、Self-Consistency和Self-Refine相比表现如何？
• RQ4 人工编写的细粒度反馈在多大程度上能提升大语言模型的推理性能？
• RQ5 RCOT能否检测并纠正复杂的推理错误，如条件幻觉和问题误解？

主要发现

• 在七个算术推理数据集上，RCOT显著优于标准CoT、Self-Consistency和Self-Refine，展现出更优的事实一致性。
• 在GSM8K数据集上，当使用人工精心编写的细粒度反馈时，ChatGPT的准确率达到94.6%，凸显了高质量反馈的巨大潜力。
• 在对比案例研究中，由于能够检测到如组大小假设错误等具体事实性错误，RCOT成功修正了Double-Check未能修复的解题错误。
• 该方法识别并修正了虚构的条件（例如，错误地假设箱子重量为16磅而非15磅）以及被忽略的约束（例如，遗漏了调度问题中的“2天后”）。
• RCOT的反馈具有可解释性和可操作性，使大语言模型和人类均可追踪并理解推理错误。
• 尽管效果显著，RCOT无法检测计算错误，且需要多次大语言模型推理步骤，可能影响推理速度。