[论文解读] Propagating Knowledge Updates to LMs Through Distillation

Shankar Padmanabhan, Yasumasa Onoe+3 more|arXiv (Cornell University)|Jun 15, 2023

Topic Modeling被引用 4

一句话总结

本文提出了一种上下文提炼方法，用于在大型语言模型（LLMs）中注入和传播知识更新，使其能够基于新事实进行推理。通过从实体定义生成后续内容，并将模型提炼以匹配基于这些定义的“教师”模型的分布，该方法在知识传播和可扩展性方面优于微调和基于梯度的编辑方法，即使在注入多达150个实体时也仅造成极少的性能下降。

ABSTRACT

Modern language models have the capacity to store and use immense amounts of knowledge about real-world entities, but it remains unclear how to update such knowledge stored in model parameters. While prior methods for updating knowledge in LMs successfully inject atomic facts, updated LMs fail to make inferences based on injected facts. In this work, we demonstrate that a context distillation-based approach can both impart knowledge about entities and propagate that knowledge to enable broader inferences. Our approach consists of two stages: transfer set generation and distillation on the transfer set. We first generate a transfer set by prompting a language model to generate continuations from the entity definition. Then, we update the model parameters so that the distribution of the LM (the student) matches the distribution of the LM conditioned on the definition (the teacher) on the transfer set. Our experiments demonstrate that this approach is more effective at propagating knowledge updates than fine-tuning and other gradient-based knowledge-editing methods. Moreover, it does not compromise performance in other contexts, even when injecting the definitions of up to 150 entities at once.

研究动机与目标

• 为了解决现有LLM知识编辑方法的局限性，这些方法虽能注入事实，但无法在推理中传播这些事实。
• 弥合检索增强提示（可实现推理）与基于参数的知识注入（缺乏推理能力）之间的差距。
• 开发一种可扩展、参数高效的方案，使语言模型能从注入的实体定义中泛化，同时不损害其他任务的性能。
• 评估蒸馏是否能有效在多种模型和实体集合中传播知识，包括大规模更新。

提出的方法

• 通过提示语言模型生成实体定义句子的后续内容，构建一个迁移数据集。
• 使用知识蒸馏，使学生模型的下一个词分布与在实体定义条件下推理的教师模型分布对齐，最小化迁移数据集上的KL散度。
• 使用学生模型无条件输出与教师模型在相同上下文下的条件输出之间的KL损失进行学生模型训练。
• 使用生成模型构建迁移数据集，并通过消融研究比较基础模型与更大模型（如GPT-3.5）的输出。
• 以目标方式应用蒸馏过程更新模型参数，避免整体分布发生剧烈偏移。
• 将方法扩展至同时注入最多150个实体，评估其在多个基准测试中的性能和特异性。

Figure 1 : Overview of our distillation approach. Our goal is to inject the entity definition ( $\mathbf{d}_{e}$ ) into the student model ( $M_{s}$ ) and propagate it to make inferences based on the injected knowledge. This example uses ChatGPT as a new entity. We first generate a set of continuatio

实验结果

研究问题

• RQ1 知识蒸馏能否有效传播注入的知识，使LLM能够基于原子事实之外的信息进行推理？
• RQ2 与微调和基于梯度的编辑方法（如MEND、MEMIT）相比，该蒸馏方法在知识传播和性能保留方面表现如何？
• RQ3 该方法是否可扩展至注入大量实体（如100多个）？在无关任务上是否保持性能？
• RQ4 生成模型的选择（如基础模型与大模型）如何影响迁移数据集的质量和最终模型性能？
• RQ5 在注入反事实或虚假知识（如CounterFact基准）时，该蒸馏方法是否能保持特异性？

主要发现

• 在三种语言模型上，该蒸馏方法在Entity Inferences和Entity Cloze by Date两个基准测试中，显著优于微调和先前的编辑方法（MEND、MEMIT）。
• 即使同时注入多达150个实体的定义，该方法在无关任务上仍保持高性能，性能下降极小。
• 使用基础模型自身生成的迁移数据集进行蒸馏，其效果与使用GPT-3.5生成的迁移数据集相当，表明该方法无需依赖更大的教师模型。
• 在CounterFact基准测试中，该蒸馏方法的特异性（邻域得分+）优于MEND和MEMIT，尽管其有效性和泛化能力较低，表明在处理虚假事实时存在权衡。
• 该方法在可扩展性方面表现出鲁棒性，优于MEMIT——后者在注入超过25个实体时困惑度显著上升。
• 在GPT-Neo上观察到特异性下降，但在GPT2-XL上未观察到，表明特异性在大规模编辑下的表现具有模型依赖性。