[论文解读] RubyStar: A Non-Task-Oriented Mixture Model Dialog System

Huiting Liu, Tao Lin+5 more|arXiv (Cornell University)|Nov 8, 2017

Topic Modeling参考文献 27被引用 14

一句话总结

RubyStar 是一种非任务导向的对话系统，整合了基于规则、检索式和生成式（RNN 基于）的响应生成方法，以生成类人、富有吸引力的对话。通过结合上下文跟踪、话题检测、参与度监控以及一个后处理重排序模型，该系统实现了更高的用户满意度，其中神经网络模型生成了超过 40% 的响应，且对话轮次越长，评分越高。

ABSTRACT

RubyStar is a dialog system designed to create "human-like" conversation by combining different response generation strategies. RubyStar conducts a non-task-oriented conversation on general topics by using an ensemble of rule-based, retrieval-based and generative methods. Topic detection, engagement monitoring, and context tracking are used for managing interaction. Predictable elements of conversation, such as the bot's backstory and simple question answering are handled by separate modules. We describe a rating scheme we developed for evaluating response generation. We find that character-level RNN is an effective generation model for general responses, with proper parameter settings; however other kinds of conversation topics might benefit from using other models.

研究动机与目标

• 设计一种非任务导向的对话系统，通过多样化的响应生成策略模拟类人对话。
• 通过整合上下文跟踪、话题检测和参与度监控，提升对话的连贯性与参与度。
• 基于用户反馈和对话长度，采用自定义评分方案评估响应质量。
• 识别在不同对话情境下，哪种响应生成方法（基于规则、检索式、神经网络）表现最佳。
• 探究个性、背景故事以及用户参与度标记对对话质量的影响。

提出的方法

• RubyStar 采用混合架构，结合基于规则的模板、从 Twitter 和 Evi 中检索，以及使用字符级 RNN 的神经序列到序列模型。
• 系统通过话题检测和意图分析来引导响应选择并维持对话流畅性。
• 通过用户反馈以及 'love' 和 'friend' 等标记来监控参与度，这些标记与更高评分呈正相关。
• 基于 Reddit 点赞数据训练一个使用 SVM 的后处理重排序模型，从候选响应中选择最连贯且最具参与度的响应。
• 通过上下文跟踪和指代消解技术保持多轮对话中的状态，提升连贯性。
• 通过专用模块管理背景故事和人格一致性，以增强常规交互中的可靠性。

实验结果

研究问题

• RQ1 结合基于规则、检索式和生成式方法在多大程度上提升了非任务导向对话的质量？
• RQ2 参与度标记（如 'love'、'friend'）在预测用户满意度方面发挥什么作用？
• RQ3 对话长度与用户评分之间存在何种相关性？这对参与度意味着什么？
• RQ4 在高分对话中，哪种响应生成方法（神经网络、检索式、基于规则）占主导地位？
• RQ5 上下文跟踪与重排序在多大程度上提升了连贯性与用户体验？

主要发现

• 神经网络模型生成了超过 40% 的响应，且字符级 RNN 在适当超参数调优下对一般响应生成表现出色。
• 高分对话的平均轮次显著更长（评分 5 为 16.6 轮，评分 1 为 10.0 轮），表明更长的参与时间与用户满意度正相关。
• 出现 'love' 和 'friend' 等词汇与更高评分正相关，而 'stupid' 则呈负相关。
• 高分对话中基于背景故事的响应较少，但来自 Twitter 的响应更多，表明从社交媒体检索可提升参与度。
• 用户投诉主要集中在连贯性差和缺乏对话引导，当机器人未能跟进话题时，用户报告感到沮丧。
• 尽管采用混合设计，RubyStar 在多轮对话中仍难以维持连贯性，尤其是在话题切换或处理模糊输入时。