[论文解读] System 2 Attention (is something you might need too)

Jason Weston, Sainbayar Sukhbaatar|arXiv (Cornell University)|Nov 20, 2023

Topic Modeling被引用 11

一句话总结

System 2 Attention (S2A) 使用经过指令调优的 LLMs 重写输入上下文，使仅相关信息被关注，从而提高事实性并在 QA、数学单词题和长文生成中减少拍马屁行为。

ABSTRACT

Soft attention in Transformer-based Large Language Models (LLMs) is susceptible to incorporating irrelevant information from the context into its latent representations, which adversely affects next token generations. To help rectify these issues, we introduce System 2 Attention (S2A), which leverages the ability of LLMs to reason in natural language and follow instructions in order to decide what to attend to. S2A regenerates the input context to only include the relevant portions, before attending to the regenerated context to elicit the final response. In experiments, S2A outperforms standard attention-based LLMs on three tasks containing opinion or irrelevant information, QA, math word problems and longform generation, where S2A increases factuality and objectivity, and decreases sycophancy.

研究动机与目标

• 激发并解决因无关上下文和奉承性导致的变换器中软注意力的失败。
• 利用 LLM 作为自然语言推理者，在生成前改写并筛选输入上下文。
• 探索两步过程：使用指令提示重新生成上下文，然后从重新生成的上下文中生成最终答案。
• 展示 S2A 在提高事实性和客观性同时，减少带有观点性或无关上下文的影响。

提出的方法

• 模型：以 LLaMA-2-70B-chat 作为基础 LLM。
• 两步 S2A 过程：(1) 通过零-shot 提示 P_S2A 将输入 x 重新生成上下文 x'；(2) 从 x' 使用 LLM 生成 y。
• 实现使用经过指令调优的 LLM 将再生作为自然语言推理来执行。
• 变体包括将上下文和问题分离、保留原始上下文、以及通过指令提示来调节去偏差的选项。
• 实验使用解码设置（温度 0.6，top-p 0.9），并比较 baseline、oracle（无观点的）和 S2A。
• 任务包括带有观点注入提示的事实性问答、带观点提示的长文论证生成，以及带干扰项的 GSM-IC 数学文字题。

实验结果

研究问题

• RQ1 System 2 Attention 是否在提示包含观点线索或干扰项时提升问答的事实准确性？
• RQ2 S2A 是否在带有观点上下文的长文生成中提高客观性并减少奉承性？
• RQ3 S2A 是否能缓解数学文字题中无关或分散注意力的句子对结果的影响？
• RQ4 各种 S2A 变体（例如分离上下文、保留原始上下文、指令提示）对性能有何影响？
• RQ5 S2A 的计算成本与精确度提升之间的权衡是什么？

主要发现

• 在带有意见的修改版 TriviaQA 上，准确率从基线的 62.8% 提升到 S2A 的 80.3%，接近 oracle 的 82.0%。
• 在长文论证生成中，S2A 的客观性更高（3.82），高于基线或 oracle 提示的（分别为 2.23 和 3.0）。
• 对于带干扰项的 GSM-IC 数学题，S2A 将准确率从 51.7%（基线）提升到 61.3%。
• 消融显示对上下文层面的强注意力很重要；保持原始上下文或使用 CoT 提示的效益低于 S2A。
• S2A 在各类任务中减少对奉承性和观点驱动错误的易感性，同时保持回答的整体质量。