[论文解读] Multimodal Dialog Systems with Dual Knowledge-enhanced Generative Pretrained Language Model

Xiaolin Chen, Xuemeng Song+4 more|arXiv (Cornell University)|Jul 16, 2022

Topic Modeling被引用 5

一句话总结

本文提出DKMD，一种用于多模态任务导向对话系统的双知识增强生成式预训练语言模型，通过整合文本和视觉上下文以提升文本响应生成质量。通过利用生成式预训练并联合从两种模态中选择知识，DKMD增强了上下文学习与响应生成能力，在公开基准数据集上实现了最先进性能。

ABSTRACT

Text response generation for multimodal task-oriented dialog systems, which aims to generate the proper text response given the multimodal context, is an essential yet challenging task. Although existing efforts have achieved compelling success, they still suffer from two pivotal limitations: 1) overlook the benefit of generative pre-training, and 2) ignore the textual context related knowledge. To address these limitations, we propose a novel dual knowledge-enhanced generative pretrained language model for multimodal task-oriented dialog systems (DKMD), consisting of three key components: dual knowledge selection, dual knowledge-enhanced context learning, and knowledge-enhanced response generation. To be specific, the dual knowledge selection component aims to select the related knowledge according to both textual and visual modalities of the given context. Thereafter, the dual knowledge-enhanced context learning component targets seamlessly integrating the selected knowledge into the multimodal context learning from both global and local perspectives, where the cross-modal semantic relation is also explored. Moreover, the knowledge-enhanced response generation component comprises a revised BART decoder, where an additional dot-product knowledge-decoder attention sub-layer is introduced for explicitly utilizing the knowledge to advance the text response generation. Extensive experiments on a public dataset verify the superiority of the proposed DKMD over state-of-the-art competitors.

研究动机与目标

• 为解决现有多模态对话系统忽略生成式预训练及与文本上下文相关的知识的问题。
• 通过整合视觉与文本上下文以进行知识选择，提升多模态任务导向对话系统中的文本响应生成质量。
• 通过跨模态注意力联合优化视觉与文本表征，增强用户意图建模。
• 开发一个统一框架，无缝结合生成式预训练与多模态知识注入，以实现更优的响应生成。

提出的方法

• 提出一种双知识选择机制，利用对话上下文的文本与视觉模态从知识库中检索相关知识。
• 引入双知识增强的上下文学习，通过跨模态注意力从全局和局部视角将所选知识整合到多模态上下文中。
• 采用改进的BART解码器，增加一个额外的点积知识-解码器注意力子层，以在响应生成过程中显式关注知识。
• 通过双跨模态表征优化，分别增强视觉与文本表征的理解，使每种模态提升另一种模态的表征质量。
• 使用BART编码器层堆叠结构，消融实验表明当知识融合发生在第6层时性能最优。
• 采用双流架构，分别处理文本与视觉输入，随后通过知识感知注意力进行融合。

实验结果

研究问题

• RQ1 生成式预训练能否提升多模态任务导向对话系统中的文本响应生成？
• RQ2 同时引入与文本和视觉上下文相关的知识对响应生成性能有何影响？
• RQ3 在BART编码器架构中，注入知识增强表征的最佳位置是什么？
• RQ4 面向视觉与面向文本的表征优化在用户意图建模中分别起到何种不同作用？
• RQ5 模态之间是否存在语义关系，且该关系能否在多模态对话系统中被有效捕捉？

主要发现

• DKMD在公开基准数据集上达到最先进性能，优于现有SOTA方法的响应生成效果。
• 消融实验表明，DKMD-w/o-VR（无面向视觉的优化）性能低于DKMD-w/o-TR（无面向文本的优化），表明视觉优化对性能贡献更大。
• 当知识注入至BART编码器第12层时，模型性能最差，表明深层注入会破坏原始数据分布。
• 模型成功捕捉了跨模态语义关系，注意力权重显示对与图像语义相关的标记赋予更高置信度。
• 敏感性分析确认，知识注入至第6层编码器时性能最优，且在第1至11层间结果稳定。
• 双知识增强的上下文学习机制通过联合利用文本与视觉上下文进行知识检索与融合，有效提升了用户意图建模。