[论文解读] Post Hoc Explanations of Language Models Can Improve Language Models

Satyapriya, Jiaqi Ma+4 more|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用 4

一句话总结

该论文提出 AMPLIFY 框架，通过自动从事后解释方法（如基于梯度的归因）生成自然语言推理过程，而非依赖昂贵的人工标注推理过程，从而提升大语言模型（LLMs）的性能。通过使用小型代理模型计算解释，并将这些解释作为校正提示注入，AMPLIFY 在多种推理与理解任务中使 LLM 性能提升 10–25%，优于依赖人工标注的 Chain-of-Thought 提示等方法。

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable capabilities in performing complex tasks. Moreover, recent research has shown that incorporating human-annotated rationales (e.g., Chain-of-Thought prompting) during in-context learning can significantly enhance the performance of these models, particularly on tasks that require reasoning capabilities. However, incorporating such rationales poses challenges in terms of scalability as this requires a high degree of human involvement. In this work, we present a novel framework, Amplifying Model Performance by Leveraging In-Context Learning with Post Hoc Explanations (AMPLIFY), which addresses the aforementioned challenges by automating the process of rationale generation. To this end, we leverage post hoc explanation methods which output attribution scores (explanations) capturing the influence of each of the input features on model predictions. More specifically, we construct automated natural language rationales that embed insights from post hoc explanations to provide corrective signals to LLMs. Extensive experimentation with real-world datasets demonstrates that our framework, AMPLIFY, leads to prediction accuracy improvements of about 10-25% over a wide range of tasks, including those where prior approaches which rely on human-annotated rationales such as Chain-of-Thought prompting fall short. Our work makes one of the first attempts at highlighting the potential of post hoc explanations as valuable tools for enhancing the effectiveness of LLMs. Furthermore, we conduct additional empirical analyses and ablation studies to demonstrate the impact of each of the components of AMPLIFY, which, in turn, leads to critical insights for refining in-context learning.

研究动机与目标

• 解决在上下文学习中 LLM 的人工标注推理过程存在的可扩展性差与成本过高的问题。
• 探究事后解释方法是否可作为 LLM 的有效、自动化校正信号来源。
• 开发一种框架，利用小型代理模型的归因分数来提升 LLM 的推理与预测准确率。
• 证明自动化、基于解释的提示方法可超越传统的、依赖人工标注的提示技术（如 Chain-of-Thought）。

提出的方法

• 使用计算成本较低的小型代理模型（如 GPT-2、BERT）为 LLM 预测中误分类的样本生成事后解释。
• 选取代理模型对其错误预测高度自信的验证集误分类样本，聚焦于影响重大的错误案例。
• 应用基于梯度的解释方法——如 Gradient × Input 及其对比变体——识别对真实标签最具影响力的输入词元。
• 通过将最具影响力的词语嵌入提示模板，构建自然语言推理过程：'关键词汇：word1, word2, … 和 word5 是预测 [label] 的关键线索'，以引导 LLM。
• 在推理阶段将生成的 few-shot 提示（输入、标签、推理过程）输入目标 LLM，以提升预测准确率。
• 在多种 NLP 任务上评估该框架，包括情感分类、常识推理和因果判断，使用 GPT-3 和 GPT-3.5 等 LLM。

实验结果

研究问题

• RQ1 事后解释方法能否用于生成有效、自动化的推理过程，从而在无需人工标注的情况下提升 LLM 性能？
• RQ2 使用自动生成推理过程的 LLM 性能与使用人工标注推理过程（如 Chain-of-Thought 提示）的 LLM 性能相比如何？
• RQ3 解释方法的选择（如 Gradient × Input 与 Integrated Gradients）是否显著影响 LLM 的性能提升？
• RQ4 该框架性能对推理提示模板的微小变化（如措辞或标点）是否敏感？
• RQ5 事后解释在多大程度上能帮助 LLM 恢复因忽略关键输入线索而导致的错误？

主要发现

• AMPLIFY 在广泛的任务中使 LLM 预测准确率提升 10–25%，显著优于基线提示方法。
• 即使在 Chain-of-Thought 提示失效或表现不佳的任务上，该框架仍能实现一致的性能提升，展现出其鲁棒性。
• Gradient × Input 及其对比变体生成的推理过程最为有效，但不同解释方法之间的性能保持稳定。
• 根据任务上下文定制推理模板（如在因果判断任务中添加 '典型人会回应说'）可带来可测量的改进，例如在 Causal Judgment 数据集上准确率提升 2.6%。
• 定性分析表明，AMPLIFY 帮助 LLM 关注到输入文本中此前被忽略的关键词汇，例如在推理任务中忽略的 'never supposed to touch'。
• 该框架对模板的微小变化具有鲁棒性，表明性能提升源于解释内容本身，而非提示格式的表面特征。