[论文解读] Strategic Chain-of-Thought: Guiding Accurate Reasoning in LLMs through Strategy Elicitation

Yu Wang, Shiwan Zhao+7 more|arXiv (Cornell University)|Sep 5, 2024

Big Data and Business Intelligence被引用 4

一句话总结

本文提出策略思维链（SCoT），一种单次提示、两阶段的方法，首先在生成思维链（CoT）推理路径之前提取最优问题解决策略，显著提升了大语言模型（LLM）的推理准确率。使用 Llama3-8b 模型，SCoT 在 GSM8K 上实现 21.05% 的提升，在 Tracking_Objects 上实现 24.13% 的提升，优于标准 CoT 方法，且无需多次查询或外部知识源。

ABSTRACT

The Chain-of-Thought (CoT) paradigm has emerged as a critical approach for enhancing the reasoning capabilities of large language models (LLMs). However, despite their widespread adoption and success, CoT methods often exhibit instability due to their inability to consistently ensure the quality of generated reasoning paths, leading to sub-optimal reasoning performance. To address this challenge, we propose the extbf{Strategic Chain-of-Thought} (SCoT), a novel methodology designed to refine LLM performance by integrating strategic knowledge prior to generating intermediate reasoning steps. SCoT employs a two-stage approach within a single prompt: first eliciting an effective problem-solving strategy, which is then used to guide the generation of high-quality CoT paths and final answers. Our experiments across eight challenging reasoning datasets demonstrate significant improvements, including a 21.05\% increase on the GSM8K dataset and 24.13\% on the Tracking\_Objects dataset, respectively, using the Llama3-8b model. Additionally, we extend the SCoT framework to develop a few-shot method with automatically matched demonstrations, yielding even stronger results. These findings underscore the efficacy of SCoT, highlighting its potential to substantially enhance LLM performance in complex reasoning tasks.

研究动机与目标

• 解决标准思维链（CoT）方法在大语言模型中产生的推理路径质量不稳定与可变性问题。
• 在不依赖多轮查询或外部知识源的前提下，提升推理准确率。
• 开发一种策略提取框架，通过单次提示引导生成高质量的 CoT 推理路径。
• 将 SCoT 扩展为少样本方法，利用基于策略的演示匹配实现性能增强。
• 评估使用大语言模型自动生成 SCoT 提示模板的可行性。

提出的方法

• SCoT 采用两阶段提示机制：首先在单次提示中提取有效的解决问题策略。
• 所提取的策略随后用于引导生成高质量的 CoT 推理路径及最终答案。
• 该方法通过角色分配、结构化工作流和 Markdown 格式化提升提示的有效性。
• 少样本扩展版本利用策略知识，自动匹配来自预定义语料库的相关演示。
• 该方法避免了多轮查询推理和外部知识，降低了计算成本和操作开销。
• 通过使用大型语言模型（Qwen2-72B）基于 SCoT 概念自动生成 SCoT 模板，评估了自动提示生成的可行性。

实验结果

研究问题

• RQ1 在生成 CoT 之前先提取问题解决策略，能否提升大语言模型的推理准确率？
• RQ2 SCoT 在性能与效率方面与标准 CoT 及其他多轮查询或知识增强方法相比如何？
• RQ3 能否通过基于策略的演示选择，有效将 SCoT 扩展至少样本设置？
• RQ4 使用大型语言模型自动生成有效 SCoT 提示模板是否可行？
• RQ5 提示组件（如角色、工作流、结构以及演示数量）对 SCoT 准确率的影响如何？

主要发现

• 使用 Llama3-8b 模型，SCoT 在 GSM8K 数据集上相比标准 CoT 实现了 21.05% 的绝对准确率提升。
• 在 Tracking_Objects 数据集上，SCoT 相较于 CoT 提升了 24.13% 的性能，表明其在复杂推理任务中具有显著优势。
• SCoT 的少样本扩展通过基于策略的演示匹配，从精选语料库中检索相关示例，进一步提升了性能。
• SCoT 输出的 token 长度平均为 CoT 的 1.5 倍，范围在 1.03 至 1.8 倍之间，表明其效率开销可控。
• 使用 Qwen2-72B 自动生成 SCoT 提示在 AQuA 数据集上达到 31.89% 的准确率，超过零样本 CoT（29.13%），并接近人工设计的 SCoT（33.60%）。
• 该方法减少了在 GSM8K 上的重复输出模式，尤其在 CoT 零样本设置下，模型在长度约束下原本容易产生冗余 token，而 SCoT 显著缓解了此问题。