[论文解读] Properties and Challenges of LLM-Generated Explanations

Jenny Kunz, Marco Kuhlmann|arXiv (Cornell University)|Feb 16, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本文研究了大型语言模型（LLMs）生成的解释的特性，重点关注使用 Alpaca 指令微调数据集生成的 GPT-4 输出。研究发现，LLM 生成的解释通常表现出选择性与举例性特征——这些是人类解释中的常见特征——而主观性和误导性内容则较少见，尽管仍存在。研究指出，这些特性在不同应用场景和用户群体中具有双重影响。

ABSTRACT

The self-rationalising capabilities of large language models (LLMs) have been explored in restricted settings, using task/specific data sets. However, current LLMs do not (only) rely on specifically annotated data; nonetheless, they frequently explain their outputs. The properties of the generated explanations are influenced by the pre-training corpus and by the target data used for instruction fine-tuning. As the pre-training corpus includes a large amount of human-written explanations "in the wild", we hypothesise that LLMs adopt common properties of human explanations. By analysing the outputs for a multi-domain instruction fine-tuning data set, we find that generated explanations show selectivity and contain illustrative elements, but less frequently are subjective or misleading. We discuss reasons and consequences of the properties' presence or absence. In particular, we outline positive and negative implications depending on the goals and user groups of the self-rationalising system.

研究动机与目标

• 识别并系统化人类解释中常被视为不适合可解释人工智能的典型特性，例如选择性、主观性和举例性元素。
• 调查这些类人解释特性在 LLM 生成的解释中（特别是使用 Alpaca 数据集的 GPT-4）的体现程度。
• 评估这些特性对可解释 NLP 不同目标的影响，包括安全性、可信度、故障排查和知识发现。
• 评估这些解释特性对不同用户群体（如终端用户、开发者和研究人员）在各种应用场景下的影响。
• 突出类人自然性与忠实、准确、完整模型解释的技术要求之间的权衡。

提出的方法

• 在 Alpaca 数据集中选取的 100 个指令遵循示例子集上开展人工标注研究，这些示例由 GPT-4 生成。
• 使用结构化问卷评估生成的解释是否表现出特定特性：选择性、举例性元素、主观性及误导性内容。
• 通过三位标注员在一致标注指南下进行定性与定量编码，分析每种特性的频率及其上下文。
• 将每种特性的存在映射到具体用例（如信任、故障排查、知识发现），以评估其功能影响。
• 评估对齐技术（如指令微调和过滤）在减少主观性和误导性等不良特性方面的效果。
• 将研究发现与先前关于人工标注解释数据集的研究进行对比，以比较模型生成与人工标注解释的特性差异。

Figure 1: Distribution of the categories defined in Section 4.1 in the evaluation set.

实验结果

研究问题

• RQ1 LLM 生成的 Alpaca 数据集解释在多大程度上反映了人类解释的常见特性，如选择性和举例性元素？
• RQ2 LLM 生成的解释中主观或误导性内容的出现频率如何？训练和对齐过程中哪些因素可能减少这些特性？
• RQ3 LLM 生成解释的特性如何影响其在不同目标下的实用性，例如提升模型可信度、支持故障排查或促进知识发现？
• RQ4 LLM 生成解释的特性在多大程度上与不同用户群体（如终端用户、开发者、研究人员）的期望一致或冲突？
• RQ5 不同类型的指令和领域中，解释特性如何变化？从 Alpaca 数据集推广研究发现存在哪些局限性？

主要发现

• LLM 生成的 Alpaca 数据集解释通常表现出选择性，即仅突出推理的某些方面，而非提供完整的理由说明。
• 举例性元素（如类比、示例或隐喻）在解释中普遍存在，增强了可访问性和修辞吸引力。
• 主观内容出现频率较低，可能归因于 GPT-4 训练流程中的对齐过程，如指令微调和过滤。
• 误导性解释仅偶尔出现，但对未涵盖在 Alpaca 数据集中的低概率或分布外输入，其风险可能上升。
• 尽管存在不完整或修辞性说服等不良特征，这些特性在教育或调试等场景中仍具益处，因为清晰度和参与度至关重要。
• 本研究强调，选择性和举例性等特性本身并非固有问题，反而可提升可用性，尤其对非专业用户有益，即使其在一定程度上牺牲了对模型推理的完全忠实性。

Figure 2: Comparison of the yes -answers the three annotators (A1, A2, A3) for Questions Q1 (“Does the output contain an explanation for the prediction?”) and Q2 (“Would you give an explanation/justify your reasoning if you were asked this question by a friend?”).