[论文解读] Symbolic Knowledge Distillation: from General Language Models to Commonsense Models

Peter West, Chandra Bhagavatula+7 more|arXiv (Cornell University)|Oct 14, 2021

Topic Modeling被引用 7

一句话总结

本文提出符号知识蒸馏（Symbolic Knowledge Distillation），一种利用 GPT-3 自动生成高质量常识知识图谱（Atomic${}^{\text{10x}}$）并训练紧凑神经常识模型（Comet${}^{\text{dis}}_{\text{til}}$）的框架，无需人工编写的常识知识。尽管模型参数量仅为 GPT-3 的 1/100，该学生模型在常识推理任务中，无论在规模、质量还是多样性方面，均优于人工标注的 Atomic${}^{20}$ 语料库及其教师模型 GPT-3。

ABSTRACT

The common practice for training commonsense models has gone from-human-to-corpus-to-machine: humans author commonsense knowledge graphs in order to train commonsense models. In this work, we investigate an alternative, from-machine-to-corpus-to-machine: general language models author these commonsense knowledge graphs to train commonsense models. Our study leads to a new framework, Symbolic Knowledge Distillation. As with prior art in Knowledge Distillation (Hinton et al., 2015), our approach uses larger models to teach smaller models. A key difference is that we distill knowledge symbolically-as text-in addition to the neural model. We also distill only one aspect-the commonsense of a general language model teacher, allowing the student to be a different type, a commonsense model. Altogether, we show that careful prompt engineering and a separately trained critic model allow us to selectively distill high-quality causal commonsense from GPT-3, a general language model. Empirical results demonstrate that, for the first time, a human-authored commonsense knowledge graph is surpassed by our automatically distilled variant in all three criteria: quantity, quality, and diversity. In addition, it results in a neural commonsense model that surpasses the teacher model's commonsense capabilities despite its 100x smaller size. We apply this to the ATOMIC resource, and share our new symbolic knowledge graph and commonsense models.

研究动机与目标

• 开发一种机器到语料库再到机器的端到端流程，绕过人工编写的常识知识图谱。
• 通过利用大语言模型作为教师模型，提升常识知识的质量与可扩展性。
• 实现仅从通用语言模型中蒸馏因果常识知识到专用、紧凑的神经网络模型中。
• 利用判别模型评估并提升自动生成符号知识的质量。
• 证明机器生成的知识在规模、质量与多样性方面可超越人工构建的知识。

提出的方法

• 使用 GPT-3 作为教师模型，通过精心设计的提示词自动生成聚焦于因果推理的符号常识三元组。
• 从 GPT-3 的文本输出构建符号知识图谱 Atomic${}^{\text{10x}}$，同时保持人类可读性与可解释性。
• 训练一个独立的判别模型以评估生成三元组的质量，实现高质量知识的筛选性蒸馏。
• 不仅将知识蒸馏到神经学生模型（Comet${}^{\text{dis}}_{\text{til}}$）中，也蒸馏到符号知识图谱中，实现双重迁移。
• 使用人工标注数据微调判别模型，以提升其质量过滤的可靠性与精确性。
• 在蒸馏后的符号语料上训练一个紧凑的常识模型（Comet${}^{\text{dis}}_{\text{til}}$） ，实现更低计算资源消耗与更高推理准确率。

实验结果

研究问题

• RQ1 通用语言模型如 GPT-3 是否可作为高质量教师模型，用于将因果常识知识蒸馏到符号知识图谱中？
• RQ2 在机器生成知识上训练的神经学生模型，是否能超越在人工标注知识上训练的模型？
• RQ3 引入判别模型是否显著提升了蒸馏后符号知识的质量，相比直接生成？
• RQ4 机器生成的常识知识是否可在规模、多样性与准确性方面超越人工编写的知识？
• RQ5 是否能够从通用语言模型中仅蒸馏出特定方面（因果常识）的知识，传递到另一类模型（常识模型）中？

主要发现

• 机器生成的知识图谱 Atomic${}^{\text{10x}}$ 在七种常识推理类型中，无论在数量、质量还是多样性方面，均超过人工标注的 Atomic${}^{20}$。
• 尽管参数量仅为 GPT-3 的 1/100，学生模型 Comet${}^{\text{dis}}_{\text{til}}$ 的常识推理准确率仍高于其教师模型 GPT-3。
• 判别模型显著提升了蒸馏知识的质量，使得生成的高保真符号三元组超越了人工标注的标准。
• 对 100 个生成样本的手动检查仅发现一处成人内容，表明由于提示词聚焦且受控，有害或冒犯性输出的风险极低。
• 该框架支持人机协作的流水线，人类作为评估者而非内容创作者，显著降低人力成本并提升可扩展性。
• 符号知识蒸馏框架表明，机器生成的知识在常识推理任务中，既更全面也更准确，优于人工构建的知识。