[论文解读] Multimodal Dialogue Response Generation

Qing‐Feng Sun, Yujing Wang+8 more|arXiv (Cornell University)|Oct 16, 2021

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出 Divter，一种低资源多模态对话回复生成模型，通过解耦文本生成与图像生成模块，充分利用大规模纯文本数据和图文配对数据。通过在多样化开放域数据上预训练，并在少量多模态样本上微调，Divter 在自动评估与人工评估中均达到最先进性能，生成与对话上下文一致、高分辨率的图像回复。

ABSTRACT

Responsing with image has been recognized as an important capability for an intelligent conversational agent. Yet existing works only focus on exploring the multimodal dialogue models which depend on retrieval-based methods, but neglecting generation methods. To fill in the gaps, we first present a multimodal dialogue generation model, which takes the dialogue history as input, then generates a textual sequence or an image as response. Learning such a model often requires multimodal dialogues containing both texts and images which are difficult to obtain. Motivated by the challenge in practice, we consider multimodal dialogue generation under a natural assumption that only limited training examples are available. In such a low-resource setting, we devise a novel conversational agent, Divter, in order to isolate parameters that depend on multimodal dialogues from the entire generation model. By this means, the major part of the model can be learned from a large number of text-only dialogues and text-image pairs respectively, then the whole parameters can be well fitted using the limited training examples. Extensive experiments demonstrate our method achieves state-of-the-art results in both automatic and human evaluation, and can generate informative text and high-resolution image responses.

研究动机与目标

• 为解决多模态对话回复生成中基于生成的方法，尤其是在低资源条件下的缺乏问题。
• 克服同时包含文本与图像的多模态对话数据收集困难的问题。
• 开发一种模型，能够在开放域对话中生成文本与高质量、上下文相关的图像作为回复。
• 提升泛化能力，超越检索式方法的局限，后者受限于固定图像库，且在分布外或长尾话题上表现不佳。

提出的方法

• Divter 采用两阶段架构：基于 Transformer 编码器-解码器的纯文本对话回复生成器与文本到图像转换器。
• 文本回复生成器基于对话历史，生成可能包含文本形式图像描述的回复序列。
• 文本到图像转换器利用基于 VAE 的图像生成器，从生成的图像描述中生成高分辨率、逼真的图像。
• 该模型在大规模纯文本对话数据（如 DialoGPT）和 <图像描述, 图像> 配对数据（如 COCO）上分别进行预训练，随后在少量多模态对话样本上进行端到端微调。
• 参数解耦将多模态特异性参数隔离，使模型大部分参数可在非多模态数据上进行训练。
• 微调阶段的联合学习使文本上下文与视觉输出对齐，提升回复的连贯性与相关性。

实验结果

研究问题

• RQ1 在低资源条件下，基于生成的方法能否优于检索式方法在多模态对话回复生成中的表现？
• RQ2 当仅有少量多模态对话样本时，模型如何有效学习生成文本与图像回复？
• RQ3 在大规模纯文本与图文数据上进行预训练，对低资源多模态对话生成有何影响？
• RQ4 文本生成与图像生成模块的相对贡献如何影响整体回复质量与连贯性？

主要发现

• Divter 在自动评估指标中达到最先进性能，优于检索式基线与强基线生成模型 S2S-TF。
• 人工评估显示，Divter 在回复相关性、信息量与对话体验方面显著优于基线，尤其在多模态回复质量方面表现突出。
• 定性案例研究验证，模型生成的图像具有高分辨率与逼真性，且与对话上下文保持一致。
• 消融实验表明，在数据稀缺时，纯文本与图文数据上的预训练对性能至关重要。
• 联合学习文本与图像生成比单独训练各组件能带来更好的对齐与连贯性。
• 与检索式模型相比，Divter 泛化能力更强，能避免错误或不一致的图像检索，尤其在长尾或分布外话题上表现更优。