[论文解读] Two are Better than One: An Ensemble of Retrieval- and Generation-Based Dialog Systems

Yiping Song, Rui Yan+3 more|arXiv (Cornell University)|Oct 23, 2016

Topic Modeling参考文献 29被引用 87

一句话总结

本文提出了一种集成模型，将检索式和生成式开放域对话系统相结合，以提升响应质量。通过将用户查询和检索到的候选回复同时输入双序列到序列（biseq2seq）生成器，并对检索到的和生成的响应进行后处理重排序，该集成模型在BLEU、ROUGE和人工评估得分等多个指标上显著优于单一组件，达到当前最优性能。

ABSTRACT

Open-domain human-computer conversation has attracted much attention in the field of NLP. Contrary to rule- or template-based domain-specific dialog systems, open-domain conversation usually requires data-driven approaches, which can be roughly divided into two categories: retrieval-based and generation-based systems. Retrieval systems search a user-issued utterance (called a query) in a large database, and return a reply that best matches the query. Generative approaches, typically based on recurrent neural networks (RNNs), can synthesize new replies, but they suffer from the problem of generating short, meaningless utterances. In this paper, we propose a novel ensemble of retrieval-based and generation-based dialog systems in the open domain. In our approach, the retrieved candidate, in addition to the original query, is fed to an RNN-based reply generator, so that the neural model is aware of more information. The generated reply is then fed back as a new candidate for post-reranking. Experimental results show that such ensemble outperforms each single part of it by a large margin.

研究动机与目标

• 为解决独立检索式和生成式对话系统在开放域对话中的局限性，其中检索系统缺乏新颖性，而生成模型产生通用回复。
• 探究结合检索与生成是否能通过融合两种方法的优势，实现更优性能。
• 研究将检索到的候选回复整合到响应生成过程中的影响，以及后处理重排序在提升最终响应选择质量中的作用。
• 通过消融研究和定性案例分析验证该集成方法的有效性。

提出的方法

• 系统首先使用标准信息检索方法从大规模查询-回复对数据库中检索一个候选回复。
• 将检索到的回复和原始查询联合编码，使用双序列到序列（biseq2seq）模型，通过同时关注两个序列生成新响应。
• 然后，使用相同的检索系统的评分函数重新评估生成的响应，生成包含检索到的和生成的响应的重排序候选列表。
• 最终响应根据重排序得分选择，确保相关性和语义质量。
• biseq2seq模型采用双编码器架构，分别独立编码查询和检索到的回复，将两者的最终隐藏状态拼接作为解码器的初始状态。
• 后处理重排序使用相同的检索模型的评分函数，重新评估并重排序检索到的和生成的候选响应，选择得分最高的一个作为最终输出。

实验结果

研究问题

• RQ1 结合检索式和生成式系统是否能提升开放域对话系统中的响应质量？
• RQ2 将检索到的候选回复纳入生成器输入，是否能缓解通用回复的‘低信息量’问题？
• RQ3 后处理重排序是否能有效从检索和生成的候选中选出最佳响应？
• RQ4 biseq2seq生成器和后处理重排序机制是否对集成模型性能有显著贡献？

主要发现

• 该集成模型在所有评估指标（包括BLEU、ROUGE和人工评估得分）上均显著优于仅检索或仅生成的基线模型。
• 与标准seq2seq相比，biseq2seq生成器产生的响应更具意义，检索到的回复中的关键词常出现在生成输出中。
• 后处理重排序显著提升了性能，通过过滤掉低质量的生成或检索响应实现，最佳配置下44.77%的最终选择为生成响应。
• 消融研究证实，biseq2seq生成器和后处理重排序机制均不可或缺，移除任一组件均导致性能下降。
• 在基于biseq2seq的模型中，生成响应的最终选择率达到55.23%，表明生成器有显著贡献。
• 该模型在自动评估和人工评估中均持续优于基线，证明了集成策略的有效性。