[论文解读] Towards Empathetic Open-domain Conversation Models: a New Benchmark and Dataset

Hannah Rashkin, Eric M. Smith+2 more|arXiv (Cornell University)|Oct 31, 2018

Topic Modeling被引用 6

一句话总结

本文提出了 EmpatheticDialogues，一个包含 25,000 个情感驱动对话的新基准数据集，并证明使用该数据进行微调或基于检索的适配，能显著提升开放域对话模型的同理心表现。人工评估确认，基于该数据集进行训练或适配的模型，其生成回复的同理心评分高于仅使用通用互联网对话数据训练的模型。

ABSTRACT

One challenge for dialogue agents is recognizing feelings in the conversation partner and replying accordingly, a key communicative skill. While it is straightforward for humans to recognize and acknowledge others' feelings in a conversation, this is a significant challenge for AI systems due to the paucity of suitable publicly-available datasets for training and evaluation. This work proposes a new benchmark for empathetic dialogue generation and EmpatheticDialogues, a novel dataset of 25k conversations grounded in emotional situations. Our experiments indicate that dialogue models that use our dataset are perceived to be more empathetic by human evaluators, compared to models merely trained on large-scale Internet conversation data. We also present empirical comparisons of dialogue model adaptations for empathetic responding, leveraging existing models or datasets without requiring lengthy re-training of the full model.

研究动机与目标

• 为解决缺乏公开可用数据集以用于训练和评估同理心对话系统的问题。
• 开发一个基准，用以衡量模型识别并恰当回应对话中情绪状态的能力。
• 利用一个全新的、情感驱动的数据集，提升现有大规模对话模型的同理心表现。
• 探索高效适配策略，如检索和微调，而无需进行完整的重新训练。

提出的方法

• 通过众包收集了 25,000 个一对一对话，对话双方描述与特定情绪（如害怕、自豪）相关的个人经历。
• 每个对话均包含标注的情绪和情境背景，确保情绪在真实生活场景中得到充分支撑。
• 提出两种适配策略：在推理阶段将数据集中的话语作为检索候选，以及在数据集上微调预训练的生成模型。
• 通过在输入序列前添加情绪或主题预测作为外部监督，以提升基于 BERT 的模型的同理心表现。
• 使用自动指标（BLEU、P@1、P@100）和人工评估（包括同理心子评分）对模型进行评估。
• 在多种设置下比较模型性能：使用 Reddit 或 EmpatheticDialogues 话语作为检索候选的检索模型，以及微调与非微调模型。

实验结果

研究问题

• RQ1 大规模、情感驱动的对话数据集能否提升开放域对话模型的同理心表现？
• RQ2 与仅在通用互联网对话数据上训练的模型相比，基于 EmpatheticDialogues 数据集进行微调是否能生成更具同理心的回复？
• RQ3 是否可以通过使用数据集中话语作为检索候选，实现无需完整微调的同理心提升？
• RQ4 通过情绪或主题预测进行外部监督，对高容量模型的同理心表现有何影响？
• RQ5 在 EmpatheticDialogues 上进行微调的模型，其性能在多大程度上能泛化到其他对话数据集（如 DailyDialog 或 Reddit）？

主要发现

• 人工评估者认为，在 EmpatheticDialogues 上微调的模型，其同理心表现显著优于仅在 Reddit 或通用互联网数据上训练的模型。
• 将 EmpatheticDialogues 作为检索候选池，相比使用 Reddit 候选的基线检索模型，显著提升了同理心子评分和 BLEU 分数。
• 在 EmpatheticDialogues 测试集上，微调使 P@1 分数提升了 12–14%，在 DailyDialog 上提升了 5–7%，在 Reddit 上则下降了 2–3%。
• 在基于 BERT 的模型中，预先添加情绪或主题预测显著提升了同理心评分，尤其对大模型效果更明显，部分情况下接近人类水平表现。
• 这些改进仅带来极小的计算开销，表明无需完整重新训练即可实现高效适配。
• 该数据集具有良好的泛化能力：微调后的模型在 DailyDialog 上也表现出性能提升，表明其可迁移至其他对话任务。