[论文解读] Text is NOT Enough: Integrating Visual Impressions into Open-domain Dialogue Generation

Lei Shen, Haolan Zhan+3 more|arXiv (Cornell University)|Sep 13, 2021

Multimodal Machine Learning Applications参考文献 66被引用 4

一句话总结

本文提出 VisAD，一种两阶段框架，通过从仅含文本的开放域对话数据中构建视觉印象（VIs），以增强响应生成。通过使用预训练的词图映射模型生成帖子和响应的视觉印象（PVIs 和 RVIs），并利用协同注意力编码器和级联解码器进行融合，该模型提升了对话理解与响应质量，在 DailyDialog 和 PersonaChat 上实现了最先进性能。

ABSTRACT

Open-domain dialogue generation in natural language processing (NLP) is by default a pure-language task, which aims to satisfy human need for daily communication on open-ended topics by producing related and informative responses. In this paper, we point out that hidden images, named as visual impressions (VIs), can be explored from the text-only data to enhance dialogue understanding and help generate better responses. Besides, the semantic dependency between an dialogue post and its response is complicated, e.g., few word alignments and some topic transitions. Therefore, the visual impressions of them are not shared, and it is more reasonable to integrate the response visual impressions (RVIs) into the decoder, rather than the post visual impressions (PVIs). However, both the response and its RVIs are not given directly in the test process. To handle the above issues, we propose a framework to explicitly construct VIs based on pure-language dialogue datasets and utilize them for better dialogue understanding and generation. Specifically, we obtain a group of images (PVIs) for each post based on a pre-trained word-image mapping model. These PVIs are used in a co-attention encoder to get a post representation with both visual and textual information. Since the RVIs are not provided directly during testing, we design a cascade decoder that consists of two sub-decoders. The first sub-decoder predicts the content words in response, and applies the word-image mapping model to get those RVIs. Then, the second sub-decoder generates the response based on the post and RVIs. Experimental results on two open-domain dialogue datasets show that our proposed approach achieves superior performance over competitive baselines.

研究动机与目标

• 为解决纯文本对话生成的局限性，通过从仅含文本的数据中引入隐式视觉印象（VIs）。
• 通过区分帖子视觉印象（PVIs）和响应视觉印象（RVIs）来建模对话帖子与响应之间的语义不对称性。
• 在测试场景中实现有效的视觉增强型响应生成，此时未提供 RVIs。
• 开发一种两阶段框架，构建 VIs 并将其整合到对话生成中，而无需使用标注的图像-对话对。

提出的方法

• 在 Flickr30K 上训练一个词图映射模型，以检索对话帖子中内容词对应的图像。
• 从帖子中提取内容词——具有语义意义的术语——并通过图像检索生成帖子视觉印象（PVIs）。
• 使用协同注意力编码器融合来自 PVIs 的文本与视觉特征，生成更丰富的帖子表征。
• 设计级联解码器：第一个子解码器预测响应中的内容词，随后利用词图模型生成响应视觉印象（RVIs）。
• 第二个子解码器基于帖子表征和预测的 RVIs 生成最终响应。
• 通过结合响应生成损失与内容词预测损失，端到端训练该框架。

实验结果

研究问题

• RQ1 能否有效构建并利用隐含在仅含文本的对话数据中的视觉印象来提升对话生成质量？
• RQ2 将响应视觉印象（RVIs）集成到解码器中，是否比将帖子视觉印象（PVIs）集成到编码器中更有效？
• RQ3 与标准序列到序列模型相比，采用内容词预测与图像检索的级联解码器架构在多大程度上提升了响应质量？
• RQ4 所构建的视觉印象在多大程度上增强了开放域对话中响应的多样性与相关性？

主要发现

• VisAD 在 DailyDialog 和 PersonaChat 上均达到最先进性能，在自动评估与人工评估指标上均优于竞争基线模型。
• 在 DailyDialog 上，内容词预测准确率（PreAcc）达到 0.389，在 PersonaChat 上为 0.326，表明与真实内容词存在中等程度的一致性。
• 在 DailyDialog 上，预测内容词的平均数量为 2.66，在 PersonaChat 上为 2.89，分别接近真实值的平均值 3.10 和 3.45。
• 案例研究显示，该模型能有效利用 PVIs 进行帖子理解，并利用 RVIs 进行响应生成，从而产生更具上下文相关性与多样性的响应。
• 即使没有直接的词图标注，词图映射模型仍能为内容词检索到相关图像，证明其具备强大的零样本泛化能力。
• 可视化结果表明，检索到的最高排名图像（尤其是 top-1）在语义上与预期的视觉印象一致，尽管由于弱监督存在部分误匹配。