[论文解读] Neural Machine Translation For Paraphrase Generation

Alex Sokolov, Denis Filimonov|arXiv (Cornell University)|Jun 25, 2020

Topic Modeling参考文献 18被引用 12

一句话总结

本文提出一种基于神经机器翻译（NMT）的方法，用于在Alexa技能开发中自动为训练数据生成改写句，采用带有双向LSTM和GloVe词嵌入的序列到序列模型。通过在域外数据上微调编码器并应用槽复制机制，该方法显著提升了在未见技能上的意图分类和命名实体识别准确率，减轻了人工标注负担。

ABSTRACT

Training a spoken language understanding system, as the one in Alexa, typically requires a large human-annotated corpus of data. Manual annotations are expensive and time consuming. In Alexa Skill Kit (ASK) user experience with the skill greatly depends on the amount of data provided by skill developer. In this work, we present an automatic natural language generation system, capable of generating both human-like interactions and annotations by the means of paraphrasing. Our approach consists of machine translation (MT) inspired encoder-decoder deep recurrent neural network. We evaluate our model on the impact it has on ASK skill, intent, named entity classification accuracy and sentence level coverage, all of which demonstrate significant improvements for unseen skills on natural language understanding (NLU) models, trained on the data augmented with paraphrases.

研究动机与目标

• 通过改写技术自动生成多样且类人的训练样本，以减少在训练Alexa技能自然语言理解（NLU）模型时的人工标注负担。
• 通过使用模型生成的改写句扩充训练数据，提升在未见技能上的意图分类（IC）和命名实体识别（NER）性能。
• 开发一种灵活的端到端神经方法，在利用域外预训练的同时，保留生成改写句中的槽信息。
• 通过为同一意图和槽结构生成语义等价且多样的话语，解决技能语法示例覆盖率低的挑战。

提出的方法

• 该模型采用编码器-解码器架构，使用双向LSTM将源句编码为上下文向量，并将其解码为改写句。
• 编码器在大规模域外英文语料上预训练，并在域内Alexa数据上微调，以改善表征学习。
• 使用GloVe词嵌入以减少词汇量，并提升对罕见词和同义词的鲁棒性。
• 在解码后应用槽复制机制，以保留城市名和数字等实体在改写输出中的完整性。
• 推理阶段采用从左到右的束搜索（beam search）与n-best解码，以生成多样化的改写句假设。
• 通过交叉熵损失最大化给定源输入的目标序列对数似然，进行模型训练。

实验结果

研究问题

• RQ1 神经机器翻译模型能否在Alexa技能领域内有效生成高质量的对话数据改写句？
• RQ2 使用模型生成的改写句进行数据增强，在多大程度上能提升未见技能上的意图分类与命名实体识别性能？
• RQ3 在域外数据上预训练并微调域内数据，对生成改写句的质量与多样性有何影响？
• RQ4 槽复制机制对保持生成改写句的语义与结构保真度有何影响？
• RQ5 与基于规则或统计的改写方法相比，该模型在语法正确性与词汇多样性方面表现如何？

主要发现

• 当使用改写句增强数据时，该模型在未见技能上的意图分类准确率最高提升44.1%，命名实体识别准确率提升9.6%。
• 最佳配置（微调编码器且固定编码器）相比基线模型，在意图分类上实现15.9%的相对提升，在NER上实现17.9%的提升。
• 即使不使用复制机制，模型仍能生成语法正确且无未知词的句子，表明其在域内数据上具有强大的泛化能力。
• 模型生成的改写句保留了意图与槽结构，即使实体被替换也未影响训练效果，因为槽标签保持一致。
• 域外预训练显著增强了表征学习，尤其在域内数据有限的情况下效果更明显。
• 模型对噪声具有鲁棒性，表明改写句质量无需完美即可提升下游NLU性能。