[论文解读] Proto: A Neural Cocktail for Generating Appealing Conversations

Sougata Saha, Souvik Das+3 more|arXiv (Cornell University)|Sep 6, 2021

Topic Modeling参考文献 36被引用 5

一句话总结

Proto 是一个用于开放域对话的神经对话系统，通过整合神经模块与基于规则的模块，生成连贯、富有同理心且事实准确的回复。通过结合大规模知识检索、集成神经生成器、重排序模型以及确定性响应策略，Proto 在 Alexa 奖竞赛中实现了高用户参与度和一致的性能表现，证明了混合架构在开放域对话人工智能中的有效性。

ABSTRACT

In this paper, we present our Alexa Prize Grand Challenge 4 socialbot: Proto. Leveraging diverse sources of world knowledge, and powered by a suite of neural and rule-based natural language understanding modules, state-of-the-art neural generators, novel state-based deterministic generators, an ensemble of neural re-rankers, a robust post-processing algorithm, and an efficient overall conversation strategy, Proto strives to be able to converse coherently about a diverse range of topics of interest to humans, and provide a memorable experience to the user. In this paper we dissect and analyze the different components and conversation strategies implemented by our socialbot, which enables us to generate colloquial, empathetic, engaging, self-rectifying, factually correct, and on-topic response, which has helped us achieve consistent scores throughout the competition.

研究动机与目标

• 开发一个能够就多样化主题进行开放域、类人对话的社交机器人，具备高度连贯性和参与度。
• 解决在开放域对话系统中生成自然、口语化且富有同理心回复的挑战。
• 通过整合结构化知识（Wikidata）和精选事实，提升事实准确性和话题深度。
• 通过记忆用户属性和情感响应能力，提升用户体验。
• 通过平衡生成器使用与主题转换，优化对话流程与长度。

提出的方法

• 利用一系列神经与基于规则的自然语言理解模块，提取意图、情感以及用户特定属性（如姓名和偏好）。
• 采用基于人类对话数据训练的神经响应生成器集合，生成自然、口语化且富有同理心的回复。
• 使用基于 Wikidata 和抓取的趣味事实的 Elasticsearch 索引，实现低延迟的相关事实与趣味内容检索。
• 应用神经重排序器集合与后处理模块，基于对话上下文选择并优化最佳回复。
• 集成确定性生成器与主题转换模块，实现深入、逻辑清晰且主题演进的对话。
• 采用基于状态的策略管理对话流程，包括由关键词触发的主题转换和上下文感知的推进机制。

实验结果

研究问题

• RQ1 如何通过结合神经与基于规则的组件的混合架构，提升开放域对话中的回复质量与连贯性？
• RQ2 事实知识库与精选趣味事实对提升参与度与事实正确性起到何种作用？
• RQ3 情感响应能力与个性化（如记住用户偏好）如何影响用户满意度评分？
• RQ4 对话长度与主题多样性在多大程度上与用户满意度相关？
• RQ5 不同响应生成器如何共同影响整体系统性能与用户感知？

主要发现

• 神经集成生成器在自然度与类人度方面显著优于基于模板的回复，有效降低了用户对机械式回复的感知。
• Proto DRG（确定性响应生成器）在半准决赛与准决赛中均生成了大部分回复，尽管在准决赛阶段神经生成器的使用频率有所上升。
• 对话长度与用户评分之间存在正相关关系，但超过某一阈值后，评分因重复或冗余的主题而下降。
• 过渡生成器或基于问答的生成器使用频率过高与评分呈负相关，可能由于主题突变或回复过长所致。
• OLS 回归的系数分析显示，NRG（神经响应生成器）具有正向影响，而 QA 与过渡生成器的系数为负，表明用户对其输出感到不满。
• 重排序器与后处理模块显著提升了系统性能，改善了回复质量，并减少了矛盾或偏离主题的输出。