[论文解读] Touch Your Heart: A Tone-aware Chatbot for Customer Care on Social Media

Tianran Hu, Anbang Xu+6 more|arXiv (Cornell University)|Mar 8, 2018

Digital Marketing and Social Media参考文献 5被引用 39

一句话总结

本文提出了一种面向社交媒体客户服务的语气感知聊天机器人，该机器人利用深度学习技术，基于前期用户研究，生成特定情感语气的回复，尤其注重共情和热情语气。通过人工评估，该聊天机器人生成的回复在适当性方面与人工客服相当，并且被感知为更具同理心，表明语气感知生成显著提升了自动化客户服务中的用户体验。

ABSTRACT

Chatbot has become an important solution to rapidly increasing customer care demands on social media in recent years. However, current work on chatbot for customer care ignores a key to impact user experience - tones. In this work, we create a novel tone-aware chatbot that generates toned responses to user requests on social media. We first conduct a formative research, in which the effects of tones are studied. Significant and various influences of different tones on user experience are uncovered in the study. With the knowledge of effects of tones, we design a deep learning based chatbot that takes tone information into account. We train our system on over 1.5 million real customer care conversations collected from Twitter. The evaluation reveals that our tone-aware chatbot generates as appropriate responses to user requests as human agents. More importantly, our chatbot is perceived to be even more empathetic than human agents.

研究动机与目标

• 研究不同语气对社交媒体客户服务中用户体验的影响。
• 识别哪些语气（如共情或热情）最能积极影响用户满意度和参与度。
• 设计并实现一种基于深度学习的聊天机器人，可生成具有受控情感语气的回复。
• 评估语气感知回复是否能够匹配或超越人工生成回复的质量与同理心。

提出的方法

• 通过包含8种已识别语气（如共情、热情、沮丧）的前期研究，使用回归分析分析其对用户体验的影响。
• 收集并分析了来自Twitter的超过150万条真实客户服务对话，用于模型训练。
• 在标准序列到序列（seq2seq）神经网络基础上，增加一个语气指示位，以控制输出语气风格。
• 通过前期研究中学习到的语气嵌入向量，对模型进行条件化训练，使其能够生成特定语气的回复。
• 使用人工标注评估回复的适当性、帮助性及语气强度，并将模型输出与人工客服回复进行比较。
• 设计了一个可扩展的框架，通过引入品牌特定的风格信号，支持品牌感知回复的生成。

实验结果

研究问题

• RQ1 不同语气（如共情、热情、沮丧）如何影响社交媒体客户服务中的用户体验？
• RQ2 哪些语气最能有效提升用户满意度并减少负面情绪？
• RQ3 基于深度学习的聊天机器人能否生成与人工客服同样适当的回复，同时嵌入特定语气？
• RQ4 人工标注者能否可靠地感知机器生成回复中嵌入的语气？
• RQ5 在客户服务互动中，语气感知聊天机器人是否被认为比人工客服更具同理心？

主要发现

• 共情语气显著降低了用户感到的沮丧与悲伤，而热情语气则提升了服务满意度和用户参与度。
• 根据人工评估，语气感知聊天机器人生成的回复在适当性和帮助性方面与人工客服的回复在统计学上无显著差异。
• 标注者能够可靠地感知聊天机器人回复中嵌入的语气，证实了语气控制的有效性。
• 聊天机器人的回复被认为比人工客服更具同理心，表明其在情感共鸣方面具有独特优势。
• 热情回复在适当性评分上显著高于共情回复，可能是因为其在各类请求类型中具有更广泛的应用性。
• 模型表现表明，嵌入语气——尤其是热情与共情语气——可显著提升回复的感知质量，超越语法正确性或事实准确性。