[论文解读] Paraphrase Augmented Task-Oriented Dialog Generation

Silin Gao, Yichi Zhang+2 more|arXiv (Cornell University)|Apr 16, 2020

Topic Modeling参考文献 36被引用 12

一句话总结

本文提出并行增强响应生成（PARG），一种联合学习框架，通过使用自动生成的并行语料联合训练并行模型与响应生成模型，提升任务导向对话生成性能。PARG通过生成多样且语境连贯的并行语句，显著提升CamRest676和MultiWOZ数据集上的响应质量与任务完成率，尤其在低资源条件下表现突出。

ABSTRACT

Neural generative models have achieved promising performance on dialog generation tasks if given a huge data set. However, the lack of high-quality dialog data and the expensive data annotation process greatly limit their application in real-world settings. We propose a paraphrase augmented response generation (PARG) framework that jointly trains a paraphrase model and a response generation model to improve the dialog generation performance. We also design a method to automatically construct paraphrase training data set based on dialog state and dialog act labels. PARG is applicable to various dialog generation models, such as TSCP (Lei et al., 2018) and DAMD (Zhang et al., 2019). Experimental results show that the proposed framework improves these state-of-the-art dialog models further on CamRest676 and MultiWOZ. PARG also significantly outperforms other data augmentation methods in dialog generation tasks, especially under low resource settings.

研究动机与目标

• 解决任务导向对话系统中高质量、人工标注对话数据有限的挑战。
• 通过保留对话上下文与意图的基于并行的语料增强方法，提升响应生成性能。
• 开发一个端到端框架，联合优化并行生成与响应生成，以提升模型泛化能力。
• 通过自动生成高质量合成对话并行语句，降低对大规模人工标注数据集的依赖。
• 证明在数据稀缺导致模型性能受限的低资源设置下，并行语料增强的有效性。

提出的方法

• 通过识别在不同对话会话中具有相同对话行为与语义内容但不同表面形式的用户语句，构建并行训练语料数据集。
• 为并行生成模型与响应生成模型均采用多阶段序列到序列架构，实现具备上下文感知能力的结构化生成。
• 在两个模型的解码器之间引入全局注意力机制，实现在训练过程中联合优化。
• 语句过滤组件确保仅使用高质量、语境连贯的并行语句进行语料增强。
• 基于对话状态与对话行为标签生成并行语句，确保并行语句间的功能一致性。
• 该框架与现有最先进模型（如TSCP与DAMD）兼容，支持即插即用式增强。

实验结果

研究问题

• RQ1 基于并行的语料增强是否能提升任务导向对话系统中的响应生成质量？
• RQ2 联合训练并行模型与响应生成模型对下游性能有何影响？
• RQ3 PARG在低资源训练条件下能多大程度上提升模型鲁棒性？
• RQ4 在流畅性与意图保留方面，PARG生成的并行语句质量与现有语料增强方法相比如何？
• RQ5 上下文感知的并行语句生成是否能带来更好的对话状态追踪与任务完成率？

主要发现

• PARG在CamRest676与MultiWOZ数据集上均显著提升响应生成性能，任务完成率获得明显提升。
• 仅使用50%的训练数据，PARG的性能即可与全量数据基线模型相当，展现出强大的低资源有效性。
• 人工评估显示，PARG生成的并行语句质量优于NAEPara与SRPara，其中59.2%的对比结果更倾向于PARG优于NAEPara，55.4%更倾向于PARG优于SRPara。
• PARG在低资源设置下优于其他语料增强方法，包括基于替换的（TextSub）与基于并行的（SRPara）方法。
• 该框架在低资源场景下降低了模型错误率——例如，当数据稀缺时，可防止因状态追踪不佳导致的错误餐厅推荐。
• 通过灵活的词汇替换（如'inexpensive' → 'cheap'），提升了表面形式多样性，同时保持语义保真度，进一步增强了并行语句质量。