[论文解读] Schema-Guided Natural Language Generation

Yuheng Du, Shereen Oraby+6 more|arXiv (Cornell University)|May 11, 2020

Topic Modeling参考文献 29被引用 4

一句话总结

本文提出了模式引导的自然语言生成（SG-NLG），这是一种新颖的任务，通过利用丰富的上下文模式（包括意图和槽位描述）而非简单的槽位-值 meaning representation（MR），来增强神经文本生成。基于重新利用的 DSTC8 数据集，作者表明，使用模式信息进行训练的模型能够生成质量更高、更具多样性且语义更准确的输出，其中 GPT-2 在人类评估中得分最高（5 分制 3.61 分），并在已见和未见领域中均展现出更好的泛化能力。

ABSTRACT

Neural network based approaches to data-to-text natural language generation (NLG) have gained popularity in recent years, with the goal of generating a natural language prompt that accurately realizes an input meaning representation. To facilitate the training of neural network models, researchers created large datasets of paired utterances and their meaning representations. However, the creation of such datasets is an arduous task and they mostly consist of simple meaning representations composed of slot and value tokens to be realized. These representations do not include any contextual information that an NLG system can use when trying to generalize, such as domain information and descriptions of slots and values. In this paper, we present the novel task of Schema-Guided Natural Language Generation (SG-NLG). Here, the goal is still to generate a natural language prompt, but in SG-NLG, the input MRs are paired with rich schemata providing contextual information. To generate a dataset for SG-NLG we re-purpose an existing dataset for another task: dialog state tracking, which includes a large and rich schema spanning multiple different attributes, including information about the domain, user intent, and slot descriptions. We train different state-of-the-art models for neural natural language generation on this dataset and show that in many cases, including rich schema information allows our models to produce higher quality outputs both in terms of semantics and diversity. We also conduct experiments comparing model performance on seen versus unseen domains, and present a human evaluation demonstrating high ratings for overall output quality.

研究动机与目标

• 解决现有神经 NLG 数据集仅使用基本槽位-值语义表示而缺乏上下文或领域级信息的局限性。
• 通过整合意图描述、槽位类型和领域上下文等丰富模式信息，提升数据到文本生成任务中的泛化能力和输出质量。
• 探究模式引导生成是否能在已见和未见领域中均实现更优性能，尤其是在零样本或少样本设置下。
• 通过重新利用对话状态追踪数据并添加详细的模式注释，构建并评估一个新的 SG-NLG 数据集。
• 在模式引导生成的背景下，对比最先进模型（Seq2Seq、CVAE、GPT-2）的表现，并评估其在语义、流畅性和多样性方面的优势。

提出的方法

• 作者通过重新利用 DSTC8 对话状态追踪数据集构建了一个新数据集，其中包含丰富的模式信息，如意图描述、槽位描述、领域信息以及表面话语。
• 生成模型的输入是一个对话轮次级别的模式，包括说话人、对话行为、槽位、值以及描述性元数据，例如 'CUISINE: "Cuisine of food served in the restaurant"'。
• 三种最先进模型——序列到序列（Seq2Seq）、条件变分自编码器（CVAE）和 GPT-2）在 SG-NLG 数据集上进行微调，以从模式中生成去体现实体的系统提示。
• 通过自动指标（BLEU、METEOR、SER）、多样性（二元语法词汇量）以及人类评估（语义、语法、自然度和整体质量）对模型进行评估。
• 通过在未见领域上测试模型，执行零样本评估，以评估其泛化能力。
• 采用约束解码和模式集成方法，引导生成过程实现内容准确表达，同时保持语言流畅性。

实验结果

研究问题

• RQ1 将包括意图和槽位描述在内的丰富模式信息引入，是否能提升神经文本生成模型的语义准确性和流畅性？
• RQ2 模式引导生成如何影响模型在已见领域与未见领域之间的泛化能力？
• RQ3 在丰富模式数据上进行训练时，不同神经生成架构（Seq2Seq、CVAE、GPT-2）是否表现出不同的优势？
• RQ4 与基于标准 MR 的生成相比，模式引导在多大程度上提升了输出多样性并减少了语义错误？
• RQ5 人类评估是否能证实，模式引导生成的输出在感知质量上优于基于标准 MR 的模型？

主要发现

• GPT-2 在人类评估中获得最高分 3.61/5，接近参考标准的 3.97，表明其整体输出质量优异。
• 使用丰富模式信息显著提升了语义精确度，使评估模型中最低的平均语义错误率（SER）达到 0.18。
• GPT-2 展现出最高多样性，二元语法词汇量达到 2.6K，显著优于 Seq2Seq 和 CVAE。
• 在采用模式引导训练时，BLEU 和 METEOR 分数分别最高提升 0.43 和 0.61，表明与参考文本的相似度更高。
• CVAE 模型生成了流畅自然的输出，但语义错误率最高（0.32），表明尽管流畅性好，却频繁出现语义不准确。
• 在模式引导数据上微调的模型在未见领域上也表现出良好泛化能力，证明其具备零样本或少样本适应的潜力。