[论文解读] Tartan: A retrieval-based socialbot powered by a dynamic finite-state machine architecture

George Larionov, Zachary Kaden+6 more|arXiv (Cornell University)|Dec 4, 2018

Topic Modeling被引用 5

一句话总结

Tartan 是 2018 年 Alexa 奖项的基于检索的社交机器人，采用动态有限状态机（FSM）架构来管理对话流程，结合了脚本化、上下文感知的对话与数据驱动的响应检索。通过 FSM 驱动的对话管理与对话行为理解，该系统在比赛中获得第 4 名，成功在结构化对话与自然、引人入胜的回应之间实现平衡。

ABSTRACT

This paper describes the Tartan conversational agent built for the 2018 Alexa Prize Competition. Tartan is a non-goal-oriented socialbot focused around providing users with an engaging and fluent casual conversation. Tartan's key features include an emphasis on structured conversation based on flexible finite-state models and an approach focused on understanding and using conversational acts. To provide engaging conversations, Tartan blends script-like yet dynamic responses with data-based generative and retrieval models. Unique to Tartan is that our dialog manager is modeled as a dynamic Finite State Machine. To our knowledge, no other conversational agent implementation has followed this specific structure.

研究动机与目标

• 开发一种能够与人类用户维持引人入胜、非目标导向对话的社交机器人。
• 解决纯检索式模型或序列到序列模型在保持上下文与连贯性方面的局限性。
• 构建一种对话管理系统，支持结构化、类似脚本的互动与动态、响应式的回复。
• 使用有限状态机建模对话机制，以支持话题转换、确认回应与用户状态跟踪。
• 通过响应式、上下文感知的对话策略，在用户与机器人之间实现主动性平衡，提升用户参与度。

提出的方法

• 采用动态有限状态机（FSM）架构管理对话流程，支持结构化但灵活的对话路径。
• 整合多个可依据用户输入激活或停用的 FSM，实现特定话题与上下文敏感的互动。
• 使用基于堆栈的 FSM 机制与空弧（null arcs）的对话管理器，支持状态与响应类型之间的无缝转换。
• 结合来自大规模语料库的检索式响应与生成式、脚本化响应，以平衡新颖性与连贯性。
• 实现意图检测模块，识别对话行为（例如：赞扬、困惑），实现实时对话自适应。
• 应用基于 LSTM 的模型，结合词嵌入与均方误差损失，从对话历史预测对话质量评分。

实验结果

研究问题

• RQ1 动态有限状态机架构能否有效管理连贯、引人入胜且具备上下文感知能力的社交对话？
• RQ2 将结构化 FSM 与检索式及生成式响应模型相结合，如何提升对话质量与用户参与度？
• RQ3 对话段落的时机（早期 vs. 晚期）在多大程度上影响用户对对话质量的感知？
• RQ4 结合脚本化 FSM 与数据驱动响应选择的混合方法，是否能在社交机器人任务中超越纯神经网络或检索式模型？
• RQ5 如何计算建模对话行为（如确认与话题管理）以增强感知到的参与度？

主要发现

• Tartan 在 2018 年 Alexa 奖项比赛中达到第 4 名的最高名次，证明了其混合架构的有效性。
• 基于动态 FSM 的对话管理系统实现了稳健且局部连贯的对话结构，同时保持了灵活性。
• 基于 LSTM 的评分模型在对话质量预测任务中达到 1.04 的 RMSE，表明其在估计用户满意度方面表现可靠。
• 分析显示，对话后半段对用户评分的影响更强（RMSE 1.24），高于前半段（RMSE 1.44），表明持续参与至关重要。
• 该系统通过 FSM 实现结构化，结合检索与生成模型实现新颖性，成功平衡了用户与机器人主动性，避免了过度脚本化或随机回应的缺陷。
• 对话行为检测的使用提升了响应能力，使机器人能够对赞扬或困惑等提示做出恰当反应，增强了感知到的专注度。