[论文解读] Using Large Language Models for Zero-Shot Natural Language Generation from Knowledge Graphs

Agnes Axelsson, Gabriel Skantze|arXiv (Cornell University)|Jul 14, 2023

Topic Modeling被引用 6

一句话总结

本文评估了使用大型语言模型（LLMs）进行零样本知识图谱到文本生成的效果，具体使用了未微调的OpenAI ChatGPT模型。研究发现，尽管ChatGPT在WebNLG 2020的部分指标上接近最先进水平，但其性能显著受三元组事实性的影响——在事实性三元组上表现最佳，在反事实性三元组上次之，而在虚构性三元组上最差，凸显了模型知识与生成质量之间的强烈关联。

ABSTRACT

In any system that uses structured knowledge graph (KG) data as its underlying knowledge representation, KG-to-text generation is a useful tool for turning parts of the graph data into text that can be understood by humans. Recent work has shown that models that make use of pretraining on large amounts of text data can perform well on the KG-to-text task even with relatively small sets of training data on the specific graph-to-text task. In this paper, we build on this concept by using large language models to perform zero-shot generation based on nothing but the model's understanding of the triple structure from what it can read. We show that ChatGPT achieves near state-of-the-art performance on some measures of the WebNLG 2020 challenge, but falls behind on others. Additionally, we compare factual, counter-factual and fictional statements, and show that there is a significant connection between what the LLM already knows about the data it is parsing and the quality of the output text.

研究动机与目标

• 探究在无需任务特定微调的情况下，利用大型语言模型实现零样本知识图谱到文本生成的可行性。
• 评估知识图谱三元组的事实性（事实性、反事实性或虚构性）对大型语言模型生成质量的影响。
• 评估大型语言模型生成文本的语法连贯性、三元组覆盖度以及幻觉率。
• 确定大型语言模型的预训练知识是否有助于或阻碍其准确表达任意知识图谱信息。
• 为开放域、零样本从结构化数据生成自然语言提供洞见。

提出的方法

• 使用OpenAI的GPT-3.5-turbo（即ChatGPT）进行零样本生成，不进行任何微调。
• 以自然语言提示格式呈现三元组，完全依赖大型语言模型对三元组结构和预训练知识的理解。
• 在WebNLG 2020基准和一个新收集的基于WikiData的数据集上评估性能，该数据集包含事实性、反事实性和虚构性三元组。
• 通过Mechanical Turk进行人工标注，以评估语法连贯性、三元组覆盖度和幻觉率。
• 使用自动指标和人工判断对比模型输出与参考文本，评估事实一致性。
• 对提示设计进行消融研究，并评估模型在不同类型知识图谱语句上的行为表现。

Figure 1: An example graph with three edges representing factual claims about its root entity. Fictional and counterfactual substitutions are listed as the second (in italics) and third (plain) row, respectively, of each entity (box).

实验结果

研究问题

• RQ1 在WebNLG 2020基准上，大型语言模型在零样本知识图谱到文本生成上的表现与最先进微调模型相比如何？
• RQ2 知识图谱三元组的事实性（事实性、反事实性、虚构性）如何影响大型语言模型生成文本的语法质量和连贯性？
• RQ3 大型语言模型在生成文本中覆盖所有输入三元组的程度如何？这种覆盖度在不同三元组类型间有何差异？
• RQ4 大型语言模型生成幻觉内容（即输入三元组中不存在的事实）的频率如何？这种频率是否随三元组事实性而变化？
• RQ5 大型语言模型的预训练知识与其准确表达知识图谱数据的能力之间存在何种关系？

主要发现

• ChatGPT在WebNLG 2020挑战赛的某些自动指标上达到接近最先进水平，表明其具备强大的零样本泛化能力。
• 性能在不同三元组类型间存在显著差异：事实性三元组生成准确度最高，反事实性三元组次之，虚构性三元组的覆盖度最低且幻觉率最高。
• 大型语言模型的预训练知识与生成文本质量之间存在强烈相关性，尤其在事实性陈述上表现明显。
• 反事实性和虚构性三元组的幻觉率更高，表明当输入与模型的世界知识相悖时，模型在生成文本方面存在困难。
• 虚构性陈述的三元组覆盖度最低，表明即使被要求生成，模型也可能无法完成生成任务。
• 本研究发现提示设计显著影响性能，尽管未找到最优提示，且模型行为对输入类型和事实一致性高度敏感。