[论文解读] Sounding Board: A User-Centric and Content-Driven Social Chatbot

Hao Fang, Hao Cheng+6 more|arXiv (Cornell University)|Apr 26, 2018

AI in Service Interactions参考文献 8被引用 6

一句话总结

Sounding Board 是一款以用户为中心、内容驱动的社交聊天机器人，凭借实时用户人格画像和动态更新的知识图谱，在2017年亚马逊Alexa奖中脱颖而出，成功维持了长时间、连贯且富有吸引力的对话。其平均用户评分为5分制中的3.17分，平均对话时长为10分22秒，证明了通过内容丰富、自适应互动实现可扩展的高质量开放域对话的可行性。

ABSTRACT

We present Sounding Board, a social chatbot that won the 2017 Amazon Alexa Prize. The system architecture consists of several components including spoken language processing, dialogue management, language generation, and content management, with emphasis on user-centric and content-driven design. We also share insights gained from large-scale online logs based on 160,000 conversations with real-world users.

研究动机与目标

• 开发一款社交聊天机器人，能够在政治、娱乐、科技等开放领域话题上维持长时间、连贯且富有吸引力的对话。
• 设计一种以用户为中心的系统，通过适应用户兴趣和人格特征实现个性化，同时通过持续整合时事和相关信息保持内容驱动。
• 通过真实世界用户互动和评委评估，在大规模场景下评估系统性能，重点关注对话质量、时长和用户参与度。
• 理解用户人格特质与内容多样性如何影响对话动态和用户满意度。

提出的方法

• 系统采用模块化架构，包含三个核心组件：自然语言理解（NLU）、对话管理（DM）和自然语言生成（NLG），通过基于分层状态的对话模型进行协调。
• NLU 利用自动语音识别（ASR）的假设结果和对话状态，从语音输入中提取用户意图、话题、情感和人格线索，并将其映射为多维框架以供下游处理。
• DM 采用主控-微型技能层级结构来管理对话流程，从专用微型技能（如思想、事实、电影）中选择，以处理特定对话片段，同时保持连贯性和用户参与度。
• 内容源自每日更新的知识图谱，存储于 AWS DynamoDB，为对话提供相关且及时的信息，以维持话题连贯性和深度。
• 通过基于 mini-IPIP 的探测系统，结合五大人格模型，评估用户人格，实现对话策略的个性化调整。
• 用户参与度通过系统识别的对话主题段落进行追踪，子对话根据回合级互动模式进行参与度标注。

实验结果

研究问题

• RQ1 社交聊天机器人如何在不完全依赖任务导向目标的前提下，维持开放领域对话中的长期连贯性和参与度？
• RQ2 用户人格特质（特别是开放性、外向性、宜人性、尽责性和神经质）在多大程度上影响对话时长和用户满意度？
• RQ3 内容丰富度和话题多样性在维持高质量、长时间对话中发挥何种作用？
• RQ4 对话的深度与子对话的广度如何与用户评分质量相关联，且独立于总时长？

主要发现

• Sounding Board 的平均用户评分为 3.17/5，平均对话时长为 10:22 分钟，证明了实现持续、高质量开放域对话的可行性。
• 在开放性、外向性和宜人性方面得分较高的用户，其对话评分显著更高，即使在控制对话时长后依然成立。
• 较长的对话与更高的评分相关，但相关性较弱（r = 0.14），表明时长本身并不能保证质量。
• 高分对话（5分）的参与度（62.5%）显著高于低分对话（28.6%），且子对话的平均深度更高（4.0 vs. 3.8轮）。
• 高分与低分对话中，参与的子对话数量相近（4.2 vs. 4.1），表明参与度的深度比广度对质量影响更大。
• 人格特质与对话时长的相关性较弱，但控制时长后，与用户评分存在中等到强相关性，表明人格感知的自适应能提升感知质量。