[论文解读] Production Ready Chatbots: Generate if not Retrieve

Aniruddha Tammewar, Monik Pamecha+3 more|arXiv (Cornell University)|Nov 1, 2017

Topic Modeling被引用 8

一句话总结

本文提出了一种混合聊天机器人系统，将神经对话模型与基于规则的图状对话系统相结合，以在实际应用中提升日程提醒的性能。通过结合图系统高精度的特性与神经响应生成的生成灵活性，该混合模型在处理复杂、领域受限的查询时，相比基于规则的基线模型，实现了更高的召回率和更强的鲁棒性。

ABSTRACT

In this paper, we present a hybrid model that combines a neural conversational model and a rule-based graph dialogue system that assists users in scheduling reminders through a chat conversation. The graph based system has high precision and provides a grammatically accurate response but has a low recall. The neural conversation model can cater to a variety of requests, as it generates the responses word by word as opposed to using canned responses. The hybrid system shows significant improvements over the existing baseline system of rule based approach and caters to complex queries with a domain-restricted neural model. Restricting the conversation topic and combination of graph based retrieval system with a neural generative model makes the final system robust enough for a real world application.

研究动机与目标

• 解决基于规则的系统在处理日程任务多样化用户查询时的局限性。
• 在保持语法正确性和精确性的同时，提升对话系统的召回率。
• 开发一种可投入生产的聊天机器人，能够有效处理复杂、领域特定的查询。
• 将神经生成与结构化检索相结合，以增强实际应用中的系统鲁棒性。

提出的方法

• 使用基于规则的图状对话系统，以确保日程任务中响应的高精度和语法正确性。
• 使用领域受限的神经对话模型逐词生成响应，以实现对多样化用户输入的灵活性。
• 混合架构结合了图系统在精度方面的优势与神经模型在生成能力上的优势，以处理复杂查询。
• 限制对话领域以提高训练效率和响应可靠性。
• 在领域特定数据集上训练神经模型，以生成上下文恰当的响应。
• 将两个组件进行集成，使神经模型负责处理开放式查询，而图系统则确保结构化任务中的正确性。

实验结果

研究问题

• RQ1 结合神经生成与基于规则的检索的混合系统，能否在日程聊天机器人中提升性能？
• RQ2 生成模型的集成在不牺牲响应质量的前提下，如何提升召回率？
• RQ3 领域限制在多大程度上提升了神经对话模型的鲁棒性和可靠性？
• RQ4 此类混合系统能否在实际部署中超越纯基于规则或纯神经网络的基线模型？

主要发现

• 该混合系统在处理复杂且多样的用户查询时，显著优于基线的基于规则系统。
• 神经生成的集成在保持基于规则组件语法准确性和精确性的同时，提升了召回率。
• 领域受限的神经模型能够以高可靠性有效生成日程任务的响应。
• 检索式精度与生成式灵活性的结合，形成了一套适合实际应用的鲁棒系统。