[论文解读] Template Guided Text Generation for Task-Oriented Dialogue

Mihir Kale, Abhinav Rastogi|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 33被引用 6

一句话总结

本文提出了一种基于模板的文本生成方法（T2G2），用于任务导向型对话系统。该方法使用简单的模板生成语义正确但可能不连贯的语句，随后通过预训练语言模型将其优化为流畅自然的响应。该方法在20个领域的45个API上实现了强大的零样本和少样本泛化能力，在大规模Schema-Guided Dialogue数据集上表现出更强的鲁棒性和样本效率，优于基线方法。

ABSTRACT

Virtual assistants such as Google Assistant, Amazon Alexa, and Apple Siri enable users to interact with a large number of services and APIs on the web using natural language. In this work, we investigate two methods for Natural Language Generation (NLG) using a single domain-independent model across a large number of APIs. First, we propose a schema-guided approach which conditions the generation on a schema describing the API in natural language. Our second method investigates the use of a small number of templates, growing linearly in number of slots, to convey the semantics of the API. To generate utterances for an arbitrary slot combination, a few simple templates are first concatenated to give a semantically correct, but possibly incoherent and ungrammatical utterance. A pre-trained language model is subsequently employed to rewrite it into coherent, natural sounding text. Through automatic metrics and human evaluation, we show that our method improves over strong baselines, is robust to out-of-domain inputs and shows improved sample efficiency.

研究动机与目标

• 为解决在数百个API和领域中以极少标注成本扩展自然语言生成（NLG）的挑战。
• 在无需为每个API提供大量标注数据的情况下，提升任务导向对话中零样本和少样本泛化能力。
• 通过使用统一的、与领域无关的NLG框架，减少对手动模板工程的依赖。
• 利用单一预训练模型，实现跨多样化领域的鲁棒、一致且流畅的系统响应。
• 提供一种可扩展、高效且可迁移的NLG解决方案，适用于处理多领域交互的真实世界虚拟助手。

提出的方法

• 该方法使用少量与槽位数量线性相关的自然语言模板，将系统动作转换为语义正确但可能不连贯的语句。
• 将这些模板生成的语句拼接后输入预训练的T5编码器-解码器模型，以重写为流畅自然的响应。
• 使用两种输入表示形式进行评估：原始槽位-值对和使用自然语言槽位名称的模式引导描述。
• 通过在SGD数据集的全部12个领域上进行联合建模，提升参数效率和一致性，降低训练与维护成本。
• 通过将最多k个之前的对话轮次的上下文拼接到输入表示中，整合历史对话信息，以提升连贯性并减少重复。
• 该框架支持在未见过的API上进行零样本推理，并可通过极少的标注样本实现少样本微调。

实验结果

研究问题

• RQ1 一个单一的、与领域无关的NLG模型能否在极少标注样本下有效泛化到未见过的API？
• RQ2 与基于模式引导或原始槽位-值输入相比，基于模板的输入表示在流畅性和鲁棒性方面表现如何？
• RQ3 在多轮对话中引入对话历史上下文在多大程度上能提升响应质量并减少重复？
• RQ4 与领域特定模型相比，跨多个领域进行联合建模是否能提升样本效率和性能？
• RQ5 基于模板的重写方法是否能在大规模多领域对话数据集（如Schema-Guided Dialogue）上实现优异表现？

主要发现

• 在全部12个领域上进行联合建模，使BLEU得分提升3.4分（从23.6提升至27.0），句错误率（SER）从4.7%降至1.0%，表明泛化能力和效率显著提升。
• 包含前一个用户语句（k=1）使BLEU得分提升近3分（从26.2提升至29.0），表明对话上下文对响应连贯性具有重要价值。
• 基于模板的引导方法在未见过的API上实现了强大的零样本性能，优于当前最先进的预训练方法在域外泛化方面的表现。
• 该方法通过依赖简单模板而非为每个API手工设计模板，显著降低了标注成本，实现了可扩展的部署。
• 当使用五个先前语句作为上下文时，T2G2框架实现了32.6的BLEU得分和0.7%的SER，表明其在上下文建模方面表现优异。
• 该方法展现出更优的样本效率，适用于标注数据稀缺的低资源和多语言场景。