[论文解读] R-Tuning: Instructing Large Language Models to Say `I Don't Know'

Hanning Zhang, Shizhe Diao+7 more|arXiv (Cornell University)|Nov 16, 2023

Topic Modeling被引用 6

一句话总结

本文提出 R-Tuning，一种新颖的指令微调方法，通过识别参数化知识与指令微调数据之间的知识空白，使大语言模型能够拒绝回答其无法回答的问题。通过将训练数据划分为确定部分和不确定部分，并在不确定样本中附加 '我不知道' 表达，R-Tuning 显著提升了拒绝回答的准确率与泛化能力，在领域内和领域外设置下均优于标准指令微调。

ABSTRACT

Large language models (LLMs) have revolutionized numerous domains with their impressive performance but still face their challenges. A predominant issue is the propensity for these models to generate non-existent facts, a concern termed hallucination. Our research is motivated by the observation that previous instruction tuning methods force the model to complete a sentence no matter whether the model knows the knowledge or not. When the question is out of the parametric knowledge, it will try to make up something and fail to indicate when it lacks knowledge. In this paper, we present a new approach called Refusal-Aware Instruction Tuning (R-Tuning). This approach is formalized by first identifying the disparity in knowledge encompassed by pre-trained parameters compared to that of instruction tuning data. Then, we construct the refusal-aware data based on the knowledge intersection, to tune LLMs to refrain from responding to questions beyond its parametric knowledge. Experimental results demonstrate R-Tuning effectively improves a model's ability to answer known questions and refrain from answering unknown questions. Furthermore, when tested on out-of-domain datasets, the refusal ability was found to be a meta-skill that could be generalized to other tasks. Further analysis surprisingly finds that learning the uncertainty results in better calibration and an improved ability to estimate the uncertainty than uncertainty-based testing. Our code is available at https://github.com/shizhediao/R-Tuning.

研究动机与目标

• 解决大语言模型在面对未知问题时幻觉性地编造事实的问题。
• 识别参数化知识（在预训练期间学习到的）与指令微调数据之间的知识空白。
• 训练模型识别自身知识不足的情况，并据此拒绝回答。
• 通过教会模型在面对未知问题时选择不回答，提升模型的可靠性，减少幻觉。
• 探究是否可通过多任务学习将拒绝能力泛化为一种元技能。

提出的方法

• 通过比较模型在指令微调数据上的预测结果与真实标签，测量知识空白，将样本分类为确定（$D_1$）或不确定（$D_0$）。
• 通过在不确定集 $D_0$ 的标签中附加不确定性表达（例如 '我不知道'）构建具备拒绝意识的训练数据。
• 在合并数据集上微调大语言模型，其中 $D_1$ 包含标准答案，$D_0$ 包含具备拒绝意识的响应。
• 在数据划分与分析过程中，使用预测分布的熵作为不确定性的代理指标。
• 通过在多个数据集上应用多任务学习，抽象并泛化拒绝这一元技能。
• 使用 AP 分数、精确率与召回率在领域内与领域外基准上评估性能。

实验结果

研究问题

• RQ1 是否可以修改指令微调，以教会模型拒绝回答未知问题？
• RQ2 识别参数化知识与指令数据之间的知识空白是否能提升模型的拒绝能力？
• RQ3 拒绝能力是否可作为元技能泛化到领域外任务？
• RQ4 在训练期间学习不确定性是否优于在推理阶段基于不确定性的过滤？
• RQ5 R-Tuning 与标准指令微调相比，在精确率、召回率与幻觉减少方面表现如何？

主要发现

• R-Tuning 显著提升了模型拒绝回答未知问题的能力，在 OpenLLaMA-3B 的 ParaRel 数据集上，AP 分数最高提升了 0.426。
• 在 MMLU 基准测试中，LLaMA-13B 模型在不确定问题上的拒绝准确率达到 0.457，显示出在复杂推理任务中的优异表现。
• 该方法在领域外数据集上泛化良好，表明拒绝能力可通过多任务学习训练为一种元技能。
• 在训练期间学习不确定性，相比在推理阶段应用不确定性过滤，能获得更优的不确定性估计与响应质量。
• 训练数据上预测分布的熵与不确定性相关，支持了数据划分方法的有效性。
• R-Tuning 在精确率与召回率之间实现了比标准指令微调更优的平衡，在不牺牲已知问题回答准确率的前提下减少了幻觉。