[论文解读] Skeleton-to-Response: Dialogue Generation Guided by Retrieval Memory

Deng Cai, Yan Wang+5 more|arXiv (Cornell University)|Sep 14, 2018

Topic Modeling参考文献 32被引用 16

一句话总结

本文提出了一种从检索到的相似对话中提取信息丰富的响应骨架，再结合查询和骨架生成具体、多样响应的骨架到响应框架，从而在开放域对话生成中提升响应的丰富性和多样性，同时减少对检索响应的直接复制。

ABSTRACT

For dialogue response generation, traditional generative models generate responses solely from input queries. Such models rely on insufficient information for generating a specific response since a certain query could be answered in multiple ways. Consequentially, those models tend to output generic and dull responses, impeding the generation of informative utterances. Recently, researchers have attempted to fill the information gap by exploiting information retrieval techniques. When generating a response for a current query, similar dialogues retrieved from the entire training data are considered as an additional knowledge source. While this may harvest massive information, the generative models could be overwhelmed, leading to undesirable performance. In this paper, we propose a new framework which exploits retrieval results via a skeleton-then-response paradigm. At first, a skeleton is generated by revising the retrieved responses. Then, a novel generative model uses both the generated skeleton and the original query for response generation. Experimental results show that our approaches significantly improve the diversity and informativeness of the generated responses.

研究动机与目标

• 解决生成式对话模型因上下文不足和一对多响应问题而产生通用、无信息量响应的局限性。
• 克服检索检索引导生成模型倾向于逐字复制检索响应的缺点，尤其是在检索结果不相关时。
• 通过从检索对话中提取并利用结构化的响应骨架，提升响应的精确性和信息量。
• 在保持生成模型泛化能力的同时，引导其生成更具意义和上下文相关性的响应。

提出的方法

• 使用信息检索系统，检索与输入查询相似的历史查询-响应对。
• 训练一个骨架生成器，通过屏蔽检索响应中的无用或无关词汇，提取响应骨架。
• 采用基于预训练评论模型的策略梯度方法，优化不可微的骨架生成过程。
• 采用多任务学习方法作为替代方案，联合训练骨架生成与响应生成。
• 将输入查询和生成的骨架同时输入响应生成器，生成最终的上下文特定响应。
• 应用编辑距离和Jaccard相似度等技术，分析复制程度及查询-检索相似度的影响。

实验结果

研究问题

• RQ1 从检索对话中提取的响应骨架是否能提升开放域对话系统中生成响应的信息量和具体性？
• RQ2 与直接检索或端到端生成模型相比，基于骨架的生成在响应质量与多样性方面表现如何？
• RQ3 所提方法在多大程度上减少了复制整个检索响应的倾向，尤其是在检索结果不相关时？
• RQ4 响应生成质量如何随查询-检索相似度的变化而变化？
• RQ5 当骨架生成器出现错误（如关键信息被过度移除）时，响应生成器能否有效纠正？

主要发现

• 所提出的骨架到响应框架在信息量和多样性方面显著优于强基线模型（如MMI和EditVec）。
• CAS模型在单次检索设置下的真人评估得分为2.747，优于IR重排序基线和EditVec，尤其在低相似度查询场景中表现更优。
• 该模型减少了对直接复制的依赖：当查询-检索相似度较低时，生成响应与检索响应之间的编辑距离增加，表明生成过程具有自适应修改能力。
• 骨架生成器在代理参考标准上的F1得分为0.751，表明其能有效提取相关内容并过滤噪声。
• 使用单个检索对的效果优于多个检索对，因为多个异质性骨架会使响应生成器产生混淆。
• 响应生成器能够纠正骨架生成器的错误（如关键实体被过度移除），展现出良好的生成鲁棒性。