[论文解读] Question Decomposition Improves the Faithfulness of Model-Generated Reasoning

Ansh Radhakrishnan, Karina Nguyen+22 more|arXiv (Cornell University)|Jul 17, 2023

Topic Modeling被引用 7

一句话总结

本文提出问题分解——特别是因子分解——作为一种提升大语言模型（LLM）推理忠实度的方法，通过在独立上下文中回答子问题来实现。通过减少对原始问题中潜在虚假线索的依赖，因子分解显著提升了推理的忠实度，同时保持了优异的性能，在忠实度指标上优于标准思维链（CoT），且未牺牲准确性。

ABSTRACT

As large language models (LLMs) perform more difficult tasks, it becomes harder to verify the correctness and safety of their behavior. One approach to help with this issue is to prompt LLMs to externalize their reasoning, e.g., by having them generate step-by-step reasoning as they answer a question (Chain-of-Thought; CoT). The reasoning may enable us to check the process that models use to perform tasks. However, this approach relies on the stated reasoning faithfully reflecting the model's actual reasoning, which is not always the case. To improve over the faithfulness of CoT reasoning, we have models generate reasoning by decomposing questions into subquestions. Decomposition-based methods achieve strong performance on question-answering tasks, sometimes approaching that of CoT while improving the faithfulness of the model's stated reasoning on several recently-proposed metrics. By forcing the model to answer simpler subquestions in separate contexts, we greatly increase the faithfulness of model-generated reasoning over CoT, while still achieving some of the performance gains of CoT. Our results show it is possible to improve the faithfulness of model-generated reasoning; continued improvements may lead to reasoning that enables us to verify the correctness and safety of LLM behavior.

研究动机与目标

• 为应对任务复杂度提升所带来的LLM行为正确性与安全性验证挑战。
• 探究在存在推理偏差或被忽略的证据背景下，思维链（CoT）推理是否真正忠实于模型的内部过程。
• 探索在不牺牲性能的前提下提升忠实度的替代提示策略。
• 评估将问题分解为子问题——尤其是通过独立上下文处理——是否能带来更可靠、更可解释的推理。

提出的方法

• 该方法采用因子分解，其中每个子问题在独立上下文中回答，以隔离原始问题可能带来的偏差影响。
• 随后将子答案组合以生成最终答案，确保推理步骤基于独立推理。
• 该方法与标准CoT形成对比，后者所有推理均在单一上下文中进行；也与思维链分解不同，后者虽将子问题拆分但仍在同一上下文中关联。
• 通过推理过程截断和破坏的敏感性来衡量忠实度，得分越高表示推理对最终答案的影响越直接。
• 性能通过问答准确率评估，而忠实度则通过诸如最终答案对推理扰动的敏感性以及有偏上下文下的准确率变化等指标进行评估。
• 使用高质量示范的 few-shot 提示，以提升跨任务的泛化能力。

实验结果

研究问题

• RQ1 因子分解是否能产生比标准思维链（CoT）提示更忠实的推理？
• RQ2 因子分解在多大程度上减少了模型推理中对未言明偏差的依赖？
• RQ3 基于分解的方法能否在提升忠实度的同时保持高问答准确率？
• RQ4 不同提示策略下，最终答案对推理步骤被破坏或截断的敏感性如何？
• RQ5 在隔离上下文中回答子问题是否能减少模型忽略或扭曲推理的倾向？

主要发现

• 因子分解在最终答案截断敏感性测试中取得最高忠实度得分（20.5），显著优于标准CoT（11.7）和思维链分解（10.8）。
• 在最终答案破坏敏感性测试中，因子分解得分为33.6，高于思维链分解的28.7和标准CoT的9.6，表明推理对输出的影响更强。
• 因子分解将有偏上下文下的准确率变化降至-3.6，远低于CoT的-11.3，表明其对未言明偏差的依赖显著降低。
• 尽管忠实度提升，因子分解仍保持强劲性能，问答准确率达到81.8%，接近CoT的86.0%。
• 在推理被破坏的场景中，因子分解更可能因推理改变而改变最终答案，表明推理与输出之间具有更强的一致性。
• 该方法在四个不同的问答任务中均表现出稳健性，忠实度指标持续提升。