[论文解读] Towards Expressive Communication with Internet Memes: A New Multimodal Conversation Dataset and Benchmark

Zhengcong Fei, Zekang Li+3 more|arXiv (Cornell University)|Sep 4, 2021

Humor Studies and Applications参考文献 33被引用 7

一句话总结

本文提出了Meme融合开放域对话（MOD）任务，构建了一个大规模中文多模态对话数据集，包含约45K条对话和约606K条话语，每条话语均标注了网络迷因（Internet memes）的情感标签。本文提出了MOD-GPT，一种基于Transformer架构的统一生成模型，可联合处理文本与迷因生成，在响应生成和迷因检索任务中表现优异，尤其在未见迷因上的泛化能力突出。

ABSTRACT

As a kind of new expression elements, Internet memes are popular and extensively used in online chatting scenarios since they manage to make dialogues vivid, moving, and interesting. However, most current dialogue researches focus on text-only dialogue tasks. In this paper, we propose a new task named as extbf{M}eme incorporated extbf{O}pen-domain extbf{D}ialogue (MOD). Compared to previous dialogue tasks, MOD is much more challenging since it requires the model to understand the multimodal elements as well as the emotions behind them. To facilitate the MOD research, we construct a large-scale open-domain multimodal dialogue dataset incorporating abundant Internet memes into utterances. The dataset consists of $\sim$45K Chinese conversations with $\sim$606K utterances. Each conversation contains about $13$ utterances with about $4$ Internet memes on average and each utterance equipped with an Internet meme is annotated with the corresponding emotion. In addition, we present a simple and effective method, which utilizes a unified generation network to solve the MOD task. Experimental results demonstrate that our method trained on the proposed corpus is able to achieve expressive communication including texts and memes. The corpus and models have been publicly available at https://github.com/lizekang/DSTC10-MOD.

研究动机与目标

• 为解决开放域对话中缺乏融合网络迷因以增强情感与语境丰富性的表达性多模态对话系统的问题。
• 构建一个大规模、开放域、中文语料的多模态对话数据集，包含丰富的网络迷因与情感标注，以支持多模态对话研究。
• 开发一种统一的深度学习框架，能够生成在语境与情感上均恰当的多模态响应（文本与迷因）。
• 评估模型在未见迷因上的泛化能力，以反映真实应用场景下的部署挑战。

提出的方法

• 构建了一个大规模开放域对话数据集，包含约45K条对话、约606K条话语，每条对话平均包含约4个迷因，每个迷因均标注了情感标签。
• 提出MOD-GPT，一种基于Transformer架构的统一序列生成模型，可联合预测文本响应与网络迷因。
• 采用预训练策略，引入两项辅助任务：网络迷因特征提取（IMFE）与跨模态情感建模（CEM），以增强多模态理解能力。
• 使用统一的生成头同时预测文本与迷因标记，实现端到端训练，无需为文本与图像生成分别设计模块。
• 在响应生成过程中，应用对比学习与跨注意力机制，对齐文本上下文与迷因的视觉特征。
• 在多个子任务上进行评估：响应生成、迷因检索与情感感知的响应选择。

实验结果

研究问题

• RQ1 统一的神经生成模型能否有效生成结合文本与网络迷因的多模态响应，以应对开放域对话？
• RQ2 模型在训练过程中未见过的网络迷因上，泛化能力如何？
• RQ3 情感标注在多大程度上提升了生成的多模态响应的质量与相关性？
• RQ4 预训练任务如IMFE与CEM对下游多模态对话生成性能有何影响？

主要发现

• 在迷因检索的简单测试集上，MOD-GPT的R10@5得分为83.6%，表明其在相关迷因选择方面表现优异。
• 在包含未见迷因的困难测试集上，MOD-GPT的R10@5得分为70.5%，显示出在挑战性场景下仍具备良好的泛化能力。
• 消融实验表明，IMFE与CEM两项预训练任务均显著提升性能，其中IMFE使R10@1提升5.1个百分点。
• 当生成与特定情感相符的迷因时，模型会为情感关键词（如“sorry”）分配更高的注意力权重，表明其具备有效的情感感知推理能力。
• 当候选迷因集合规模增大时，性能显著下降，表明在检索可扩展性方面仍有改进空间。
• 统一模型在所有指标上均优于基于层次LSTM的（MHERAD）与简单相似度匹配的（SRS）基线模型。