[论文解读] Response Generation by Context-aware Prototype Editing

Yu Wu, Furu Wei+4 more|arXiv (Cornell University)|Jun 19, 2018

Software Engineering Research被引用 13

一句话总结

本文提出了一种原型-编辑框架用于开放域回复生成，该框架通过检索一个原型回复并根据上下文差异对其进行编辑，利用上下文感知的编辑向量来提升回复的相关性、多样性和原创性。在大规模中文数据集上的实验表明，该方法在关键指标上优于生成式和检索式模型。

ABSTRACT

Open domain response generation has achieved remarkable progress in recent years, but sometimes yields short and uninformative responses. We propose a new paradigm for response generation, that is response generation by editing, which significantly increases the diversity and informativeness of the generation results. Our assumption is that a plausible response can be generated by slightly revising an existing response prototype. The prototype is retrieved from a pre-defined index and provides a good start-point for generation because it is grammatical and informative. We design a response editing model, where an edit vector is formed by considering differences between a prototype context and a current context, and then the edit vector is fed to a decoder to revise the prototype response for the current context. Experiment results on a large scale dataset demonstrate that the response editing model outperforms generative and retrieval-based models on various aspects.

研究动机与目标

• 为解决开放域对话中的‘安全回复’问题，即生成式模型产生简短、通用的回复。
• 通过利用预先存在的高质量原型回复，提升回复的相关性和多样性。
• 开发一种灵活的、上下文感知的编辑机制，使检索到的回复能够适应当前对话上下文。
• 在保持回复流畅性和信息量的同时，降低对固定检索索引的依赖。

提出的方法

• 模型根据上下文相似度从预定义索引中检索一个原型回复。
• 编辑向量通过当前上下文与原型上下文之间词汇差异的插入和删除词嵌入的加权平均计算得出。
• 插入词是指存在于原型上下文但不存在于当前上下文的词；删除词是指存在于当前上下文但不存在于原型上下文的词。
• 解码器使用基于GRU的注意力机制，以拼接的隐藏状态和编辑向量作为条件，生成修改后的回复。
• 编码器使用GRU编码原型回复，解码器在关注原型表示的同时整合编辑向量。
• 模型采用端到端的序列到序列目标进行训练，编辑向量按样本动态计算。

实验结果

研究问题

• RQ1 与标准生成式模型相比，基于原型的编辑是否能提升回复的相关性和多样性？
• RQ2 上下文感知编辑在将检索到的回复适配到新对话上下文方面有多有效？
• RQ3 在原创性和相关性方面，该编辑机制是否优于检索式基线模型？
• RQ4 插入和删除词嵌入在提升回复质量方面发挥什么作用？
• RQ5 该模型在多大程度上避免了简单复制原型回复或生成无关回复？

主要发现

• 与传统的序列到序列生成模型相比，该模型显著提升了回复的相关性、多样性和原创性。
• 移除编辑向量后，基于嵌入的指标急剧下降，证实了其在相关性方面起着关键作用。
• 即使没有编辑向量，多样性与原创性仍保持较高水平，表明原型回复本身是这些特质的主要驱动力。
• 仅有2%的修改后回复与原型完全相同，表明模型避免了成为复制模型。
• 30%的修改后回复被评定为与原型无关，表明模型经常进行重写而非保守编辑。
• 案例研究显示，该模型成功处理了插入、删除和替换类编辑，例如在‘纯素甜点’与‘豆腐和蔬菜’的上下文转换中表现良好。