[论文解读] Semantic Refinement GRU-based Neural Language Generation for Spoken Dialogue Systems

Van-Khanh Tran, Le-Minh Nguyen|arXiv (Cornell University)|Jun 1, 2017

Topic Modeling参考文献 20被引用 11

一句话总结

本文提出了一种基于语义精炼GRU的神经语言生成模型，用于对话系统，通过在RNN计算前引入门控机制，以改善句子排序并处理复杂的槽值依赖关系。该模型从非对齐数据中联合学习句子规划与表面实现，已在四个NLG领域实现最先进性能，BLEU和槽错误率（ERR）相比先前方法有显著提升。

ABSTRACT

Natural language generation (NLG) plays a critical role in spoken dialogue systems. This paper presents a new approach to NLG by using recurrent neural networks (RNN), in which a gating mechanism is applied before RNN computation. This allows the proposed model to generate appropriate sentences. The RNN-based generator can be learned from unaligned data by jointly training sentence planning and surface realization to produce natural language responses. The model was extensively evaluated on four different NLG domains. The results show that the proposed generator achieved better performance on all the NLG domains compared to previous generators.

研究动机与目标

• 解决现有神经NLG模型在处理对话系统中槽顺序错误及二元/不关心槽时的局限性。
• 通过在RNN处理前对输入表示进行精炼，利用门控机制提升句子生成质量。
• 在无需对齐训练数据的情况下，实现句子规划与表面实现的联合训练。
• 在有限领域内数据下，提升对未见领域的泛化能力。
• 减少NLG输出中错位、重复或语法错误的语句。

提出的方法

• 在GRU计算前引入语义精炼门控机制，基于上下文对输入标记表示进行精炼。
• 采用门控循环单元（GRU）架构，将精炼后的输入通过隐藏状态生成输出标记。
• 采用联合训练框架，利用非对齐数据联合训练句子规划与表面实现，无需平行的句子规划与表面实现标注。
• 在训练期间应用去词汇化，将槽值替换为槽标记，以提升泛化能力。
• 采用两种变体：SRGRU-C（上下文感知门控）和TB-SRGRU（共享精炼门控），后者表现出更强的鲁棒性。
• 通过门控机制隐式利用注意力机制，更好地捕捉槽值对之间的依赖关系。

实验结果

研究问题

• RQ1 在RNN计算前应用门控机制是否能改善NLG输出中槽值对的排序？
• RQ2 与先前的基于RNN的生成器相比，所提模型是否能减少错位、重复或语法错误的语句？
• RQ3 在仅用有限领域内数据微调时，模型是否能泛化到未见领域？
• RQ4 精炼门控对二元槽和不关心值的性能有何影响？
• RQ5 共享门控变体（TB-SRGRU）在处理复杂语义结构时是否优于仅依赖上下文的变体（SRGRU-C）？

主要发现

• 所提TB-SRGRU模型在所有四个NLG领域中均取得最高BLEU分数，优于基线模型ENCDEC、HLSTM和SCLSTM。
• SRGRU-C与TB-SRGRU模型显著降低了槽错误率（ERR），其中TB-SRGRU在涉及比较性语句的最复杂TV数据集上表现最佳。
• 在TV数据集中，正确排序槽值对至关重要（例如，将A+和L7与Triton 52匹配），所提模型正确生成了目标结构，而HLSTM和SCLSTM则产生了顺序错误或重复的信息。
• 模型成功处理了二元槽（如是/否）和不关心值，这些是先前模型因去词汇化限制而难以处理的问题。
• 采用共享精炼门控的TB-SRGRU变体表现出更强的鲁棒性，纠正了SRGRU-C模型中存在的错误，如错误的词序和冗余短语。
• 该模型在所有四个评估领域均达到最先进性能，证实了语义精炼在提升NLG质量方面的有效性。