[论文解读] STICKERCONV: Generating Multimodal Empathetic Responses from Scratch

Zhang, Yiqun, Yiqun Zhang+7 more|arXiv (Cornell University)|Jan 20, 2024

AI in Service Interactions被引用 1

一句话总结

本文提出 STICKERCONV，一个新颖的多模态共情对话数据集，包含 12.9K 个对话会话和 5.8K 个独特表情包，通过基于大语言模型的多智能体系统（Agent4SC）构建，该系统模拟人类的表情包使用行为。本文还提出了 PEGS，一种端到端框架，能够感知上下文并生成情感恰当的表情包，在基于大语言模型的评估指标下，实现了多模态共情回复生成的最先进性能。

ABSTRACT

Stickers, while widely recognized for enhancing empathetic communication in online interactions, remain underexplored in current empathetic dialogue research, notably due to the challenge of a lack of comprehensive datasets. In this paper, we introduce the Agent for STICKERCONV (Agent4SC), which uses collaborative agent interactions to realistically simulate human behavior with sticker usage, thereby enhancing multimodal empathetic communication. Building on this foundation, we develop a multimodal empathetic dialogue dataset, STICKERCONV, comprising 12.9K dialogue sessions, 5.8K unique stickers, and 2K diverse conversational scenarios. This dataset serves as a benchmark for multimodal empathetic generation. To advance further, we propose PErceive and Generate Stickers (PEGS), a multimodal empathetic response generation framework, complemented by a comprehensive set of empathy evaluation metrics based on LLM. Our experiments demonstrate PEGS's effectiveness in generating contextually relevant and emotionally resonant multimodal empathetic responses, contributing to the advancement of more nuanced and engaging empathetic dialogue systems.

研究动机与目标

• 为解决涉及表情包的多模态共情对话缺乏综合性数据集的问题。
• 通过协作式多智能体系统（Agent4SC）模拟真实人类在共情对话中的表情包使用行为。
• 开发一种新的端到端框架 PEGS，能够感知上下文并为共情回复生成相关表情包。
• 建立全面的、基于大语言模型的评估协议，用于多模态共情回复，重点关注共情、一致性与排序性能。

提出的方法

• 利用基于大语言模型的多智能体系统（Agent4SC），在共情对话场景中模拟具有策略性表情包使用的类人互动。
• 通过生成 12.9K 个对话会话（平均每会话 5.22 个表情包）和 5.8K 个独特表情包，构建 STICKERCONV 数据集。
• 设计 PEGS，一种多模态框架，联合处理文本和图像输入，以感知情感上下文，并在合适时机生成恰当的表情包。
• 实施联合学习机制，使模型能够基于对话上下文推理何时以及使用何种表情包。
• 开发基于大语言模型的多模态共情评估框架，包括用于一致性、共情（纯文本与多模态）及排序的专用提示模板。
• 集成工具学习与联合推理，支持交错的文本与图像输入，实现动态、上下文感知的表情包插入。

实验结果

研究问题

• RQ1 如何利用基于大语言模型的智能体有效模拟在线共情对话中的人类表情包使用行为？
• RQ2 将表情包作为非文本模态引入，对共情回复的质量与情感共鸣有何影响？
• RQ3 像 PEGS 这样的端到端框架能否在不依赖预存表情包数据库的情况下，生成上下文相关且情感恰当的表情包？
• RQ4 如何设计可靠、基于大语言模型的评估指标，以准确评估多模态回复中的共情程度？
• RQ5 多模态融合（文本 + 表情包）在多大程度上提升了共情对话系统中的一致性与情感一致性？

主要发现

• STICKERCONV 数据集包含 12.9K 个对话会话、5.8K 个独特表情包，平均每会话 5.22 个表情包，反映了真实的表情包使用模式。
• PEGS 在生成上下文一致且情感共鸣强烈的多模态共情回复方面，优于强基线模型，该结果经基于大语言模型的评估验证。
• 所提出的共情评估框架（包括多模态共情评分）表现出高度可靠性，并与人类判断高度一致，尤其在检测情感相关性与一致性方面表现优异。
• 表情包的集成显著增强了情感表达力与回复质量，PEGS 在生成及时且上下文恰当的表情包方面表现更优。
• PEGS 中的联合学习与工具使用机制实现了文本与图像输入的动态交错处理，支持类社交媒体风格的自然对话。
• 基于大语言模型的共情评估与人类判断具有强相关性，验证了其在自动化基准测试多模态共情系统中的实用性。