[论文解读] Towards Emotional Support Dialog Systems

Siyang Liu, Chujie Zheng+6 more|arXiv (Cornell University)|Jun 2, 2021

Topic Modeling参考文献 36被引用 5

一句话总结

本文提出了情感支持对话（Emotional Support Conversation, ESC）任务，并基于帮助技能理论提出了一套ESC框架，包含三个阶段——探索（Exploration）、安慰（Comforting）和行动（Action），每个阶段均有特定的支持策略。作者构建了ESConv数据集，这是一个高质量、人工标注的对话数据集，支持策略标注丰富，并通过微调最先进模型证明，策略感知训练能显著提升情感支持的有效性，该结论经由人工评估验证。

ABSTRACT

Emotional support is a crucial ability for many conversation scenarios, including social interactions, mental health support, and customer service chats. Following reasonable procedures and using various support skills can help to effectively provide support. However, due to the lack of a well-designed task and corpora of effective emotional support conversations, research on building emotional support into dialog systems remains untouched. In this paper, we define the Emotional Support Conversation (ESC) task and propose an ESC Framework, which is grounded on the Helping Skills Theory. We construct an Emotion Support Conversation dataset (ESConv) with rich annotation (especially support strategy) in a help-seeker and supporter mode. To ensure a corpus of high-quality conversations that provide examples of effective emotional support, we take extensive effort to design training tutorials for supporters and several mechanisms for quality control during data collection. Finally, we evaluate state-of-the-art dialog models with respect to the ability to provide emotional support. Our results show the importance of support strategies in providing effective emotional support and the utility of ESConv in training more emotional support systems.

研究动机与目标

• 定义一项新任务——情感支持对话（Emotional Support Conversation, ESC），用于训练对话系统在社交与心理健康情境中提供有效情感支持。
• 基于帮助技能理论（Helping Skills Theory）开发ESC框架，划分为三个阶段：探索（Understanding the problem）、安慰（Expressing empathy）和行动（Offering solutions），每个阶段具有独特支持策略。
• 构建ESConv，一个高质量、人工标注的情感支持对话数据集，支持策略标注详尽，并实施严格的质量控制。
• 通过人工评估与最先进模型，评估支持策略及其时机对模型性能的影响。
• 证明在ESConv上进行微调能显著提升对话模型提供有效情感支持的能力。

提出的方法

• 将帮助技能理论（Hill, 2009）转化为适合对话系统的框架，包含三个阶段：探索（理解问题）、安慰（表达共情）和行动（提供解决方案）。
• 为众包工作者设计详细的训练教程与质量控制机制，以确保收集到的对话具备高质量且有效的情感支持。
• 通过众包方式收集ESConv，参与者分别扮演求助者与支持者角色，完整标注支持策略及情绪强度变化。
• 使用策略预测监督微调预训练对话模型（BlenderBot），以学习有效策略选择与时机把握。
• 通过每组模型对比100段对话的人工评估，比较模型在情感支持质量、策略使用与用户偏好方面的表现。
• 使用统计检验（符号检验）验证人工评估结果在多个指标上的显著性。

实验结果

研究问题

• RQ1 如何系统性地结构化对话系统中的情感支持，以反映现实世界的支持性对话？
• RQ2 对支持策略进行显式建模在多大程度上能提升对话系统中情感支持的有效性？
• RQ3 像ESConv这样高质量、策略标注的数据集能否有效用于微调预训练模型，以提升情感支持性能？
• RQ4 策略选择与时机如何影响用户感知与情绪改善？
• RQ5 策略使用与模型主干网络相比，对感知到的情感支持质量有何相对影响？

主要发现

• 在ESConv上微调的联合模型（Joint model）在所有人工评估指标上均优于所有基线模型，且差异具有统计显著性（p < 0.05）。
• 在ESConv上微调显著提升了BlenderBot在所有指标上的情感支持能力，经成对人工比较验证。
• 显式利用支持策略的模型在有效性与用户舒适度方面评分显著高于无策略监督的模型。
• 策略的恰当时机——尤其是从安慰阶段过渡到行动阶段——被证明对帮助用户识别问题并实现情绪改善至关重要。
• 联合模型输出的策略分布与ESConv中的真实分布高度一致，表明模型已学会模仿人类的策略选择方式。
• 与基础BlenderBot相比，联合模型生成了更多支持性回复，并使用了更丰富的策略类型，而基础模型常默认生成自我参照或非支持性回应。