[论文解读] Slugbot: An Application of a Novel and Scalable Open Domain Socialbot Framework

Kevin K. Bowden, Jiaqi Wu+3 more|arXiv (Cornell University)|Jan 4, 2018

Spam and Phishing Detection参考文献 7被引用 8

一句话总结

本文提出Slugbot，一款可扩展的开放域社交聊天机器人，专为亚马逊Alexa奖而设计，采用类人思维的记忆架构与模块化对话管理机制，实现引人入胜、主题无关的对话。通过整合多样化的自然语言理解工具、检索系统以及跨31个主题的动态对话流程，Slugbot在用户满意度和对话长度方面表现出色，实现了高度的用户参与度。

ABSTRACT

In this paper we introduce a novel, open domain socialbot for the Amazon Alexa Prize competition, aimed at carrying on friendly conversations with users on a variety of topics. We present our modular system, highlighting our different data sources and how we use the human mind as a model for data management. Additionally we build and employ natural language understanding and information retrieval tools and APIs to expand our knowledge bases. We describe our semistructured, scalable framework for crafting topic-specific dialogue flows, and give details on our dialogue management schemes and scoring mechanisms. Finally we briefly evaluate the performance of our system and observe the challenges that an open domain socialbot faces.

研究动机与目标

• 开发一款可扩展的开放域社交聊天机器人，能够在多样化主题上维持自然、多轮对话。
• 解决在无任务特定约束条件下保持对话参与度与连贯性的挑战。
• 以人类心智为模型构建系统记忆，区分长期记忆（LTM）与短期记忆（STM），实现高效的数据管理。
• 通过动态对话流程、观点生成、故事讲述以及游戏与调查等互动活动，提升用户体验。
• 通过多假设处理与意图识别机制，增强对ASR错误与用户输入噪声的鲁棒性。

提出的方法

• 采用模块化架构，包含基础回复、观点表达、问答、检索、域外处理、故事讲述、游戏、调查、交互序列、递归事实检索与流程管理等独立对话管理模块。
• 使用Stanford CoreNLP执行核心自然语言理解任务，包括依存句法分析、词性标注、情感分析与指代消解。
• 实现混合记忆系统：STM用于对话本地状态，LTM用于持久化数据存储，采用RDS替代DynamoDB以支持更好的实时查询性能。
• 通过API（Wikipedia、DuckDuckGo、Evi）与Elasticsearch集成多种知识源，用于响应检索。
• 设计流程管理器，动态管理跨31个主题的特定主题对话流程，实现可扩展的主题覆盖。
• 应用评分机制对响应进行排序，并在LTM中使用强化学习以提升长期策略学习能力。

实验结果

研究问题

• RQ1 社交聊天机器人如何在多样化主题上维持引人入胜的开放域对话，同时实现高效的系统记忆管理？
• RQ2 以人类心智为模型构建系统记忆在多大程度上提升了对话连贯性与可扩展性？
• RQ3 游戏、调查与故事讲述等互动模块在多大程度上提升了用户参与度与对话长度？
• RQ4 ASR错误与噪声输入对用户体验有何影响？在社交聊天机器人场景中如何有效缓解？
• RQ5 具备动态流程生成能力的模块化、可扩展对话框架是否能在开放域环境中实现高用户满意度？

主要发现

• 用户更偏好精确、诚实的回答，而非错误或低质量的回答，表明其强烈倾向接受'我不知道'而非猜测。
• 对用户提及实体的显式确认与评价性评论显著提升了用户参与度与个性化感知。
• 互动模块如游戏、调查与故事讲述能够维持长时间、多轮的交互，深受用户欢迎。
• 系统在用户满意度与对话长度方面表现优异，尤其在Jeopardy与故事冒险等活动中观察到高度参与。
• ASR误识别仍是主要挑战，尤其在嘈杂环境中，当短输入被错误分类为'停止'命令时，常导致对话过早终止。
• 用户对负面新闻内容表现出兴趣缺乏，凸显了在知识源中实施情感过滤的必要性。