[论文解读] Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters

Boshi Wang, Sewon Min+5 more|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用 9

一句话总结

本文通过消融实验研究了少样本推理中思维链（CoT）提示的有效性，发现即使演示中的推理步骤无效，模型性能仍能保持在CoT基线的80-90%。关键洞见是，推理步骤与查询的相关性以及步骤的正确排序比逻辑有效性更为重要，表明大语言模型更多依赖于预训练的推理模式，而非真实正确的推理过程。

ABSTRACT

Chain-of-Thought (CoT) prompting can dramatically improve the multi-step reasoning abilities of large language models (LLMs). CoT explicitly encourages the LLM to generate intermediate rationales for solving a problem, by providing a series of reasoning steps in the demonstrations. Despite its success, there is still little understanding of what makes CoT prompting effective and which aspects of the demonstrated reasoning steps contribute to its performance. In this paper, we show that CoT reasoning is possible even with invalid demonstrations - prompting with invalid reasoning steps can achieve over 80-90% of the performance obtained using CoT under various metrics, while still generating coherent lines of reasoning during inference. Further experiments show that other aspects of the rationales, such as being relevant to the query and correctly ordering the reasoning steps, are much more important for effective CoT reasoning. Overall, these findings both deepen our understanding of CoT prompting, and open up new questions regarding LLMs' capability to learn to reason in context.

研究动机与目标

• 理解大语言模型在少样本推理中，思维链（CoT）演示的哪些组件是有效的关键因素。
• 探究演示中推理步骤的逻辑正确性是否对模型性能至关重要。
• 识别驱动多步推理任务性能提升的CoT推理路径的关键属性。
• 挑战‘正确推理步骤是CoT成功所必需’的假设，转而探讨格式与结构的作用。

提出的方法

• 通过系统性地修改推理有效性、相关性及步骤排序等组件，对CoT演示进行消融研究。
• 设计受控的提示设置：'无效推理'、'无连贯性'、'无相关性'和'无顺序'，以隔离各推理组件的影响。
• 使用两个基准任务：算术推理和多跳事实问答，评估不同设置下的模型性能。
• 使用标准指标（如精确匹配和F1）衡量性能，将消融设置与标准CoT及零样本基线进行比较。
• 分析模型生成的推理路径，评估其在无效演示下的连贯性、相关性及逻辑一致性。
• 定义并提取'桥梁对象'（如数字、实体）和'语言模板'（如关系、谓词），以分析其在推理中的作用。

实验结果

研究问题

• RQ1 CoT演示中推理步骤的逻辑有效性是否显著影响模型性能？
• RQ2 是否存在其他CoT推理路径的组件（如相关性或顺序）比推理正确性对性能贡献更大？
• RQ3 当展示无效或不连贯的演示时，大语言模型是否仍能生成有效的推理路径？
• RQ4 大语言模型中预训练的推理能力在多大程度上降低了对准确演示在CoT提示中的依赖？
• RQ5 语言模板与桥梁对象如何共同影响少样本设置下的推理有效性？

主要发现

• 在算术推理和多跳QA任务中，即使提供完全无效推理步骤的演示，模型在多个指标上的性能仍能达到标准CoT的80-90%。
• 即使推理过程无效，模型仍能生成连贯、分步的推理路径，且与查询高度相关，并在推理过程中保持逻辑流畅。
• 推理步骤与查询的相关性以及步骤的正确排序，对性能的影响远超过推理过程的逻辑有效性。
• 模型在CoT提示下有效推理的能力主要源于其预训练的推理能力，而演示的主要作用是规范输出的格式与结构。
• 语言模板与桥梁对象是关键组成部分，但其正确性不如其存在与否及其与查询的正确对齐重要。
• 研究结果表明，CoT提示更像是一种格式规范化机制，而非教授正确推理的机制，从而挑战了关于上下文学习的既有假设。