[论文解读] Multimodal Differential Network for Visual Question Generation

Badri N. Patro, Sandeep Kumar+2 more|arXiv (Cornell University)|Aug 12, 2018

Multimodal Machine Learning Applications参考文献 51被引用 4

一句话总结

本文提出了一种用于视觉问题生成（VQG）的多模态差异网络（MDN），通过利用范例（支持性与对立性图像、字幕和标签）来学习隐式、可微分的嵌入表示，以捕捉细微的视觉-语言上下文。该方法在标准基准测试（BLEU、METEOR、ROUGE、CIDEr）上显著优于当前最先进模型，CIDEr得分提升高达34.4%，且生成的问题经用户研究验证具有人类水平的自然性。

ABSTRACT

Generating natural questions from an image is a semantic task that requires using visual and language modality to learn multimodal representations. Images can have multiple visual and language contexts that are relevant for generating questions namely places, captions, and tags. In this paper, we propose the use of exemplars for obtaining the relevant context. We obtain this by using a Multimodal Differential Network to produce natural and engaging questions. The generated questions show a remarkable similarity to the natural questions as validated by a human study. Further, we observe that the proposed approach substantially improves over state-of-the-art benchmarks on the quantitative metrics (BLEU, METEOR, ROUGE, and CIDEr).

研究动机与目标

• 为解决从图像中生成自然、类人问题的挑战，通过建模动态、上下文敏感的视觉-语言表示。
• 通过引入多模态范例（支持性与对立性图像、字幕、标签）而非依赖静态或显式提示，改进视觉问题生成。
• 开发一种可微分框架，支持端到端训练及通过上下文建模进行反向传播，以实现更优优化。
• 验证隐式差异上下文相较于显式关键词上下文，在生成吸引人且上下文相关问题方面的优越性。

提出的方法

• 使用多模态差异网络（MDN），通过将目标图像与支持性（相关）和对立性（无关）范例进行比较来学习嵌入表示。
• 采用对比学习机制，使网络能够通过特征层面的差异区分相关与无关的视觉-语言上下文。
• 将多种上下文类型——图像特征、字幕和词性标签（名词、动词、WH-词）——整合到统一的嵌入空间中。
• 应用Hadamard乘积、逐元素加法或基于注意力的融合方法组合图像与文本特征，其中注意力机制通过卷积特征上的软注意力机制学习得到。
• 使用1D卷积层或拼接操作融合多模态嵌入，再将其输入问题解码器。
• 采用标准的编码器-解码器架构，其中图像编码器为VGG-19，解码器使用LSTM或类似RNN结构，并以学习到的差异性上下文作为条件。

实验结果

研究问题

• RQ1 与显式关键词上下文相比，从范例中提取的隐式差异嵌入是否能提升生成问题的自然性与相关性？
• RQ2 在视觉问题生成中，整合多种上下文类型（字幕、标签、位置信息）如何影响生成问题的质量？
• RQ3 使用支持性与对立性范例是否能提升VQG模型在端到端训练中的优化效果与泛化能力？
• RQ4 所提出的MDN在标准评估指标（BLEU、METEOR、ROUGE、CIDEr）和人工评估中，相较于现有最先进模型的性能优势有多大？
• RQ5 哪种融合策略（Hadamard、加法、拼接、注意力）能为问题生成提供最有效的多模态表示？

主要发现

• 当使用三个WH-词作为上下文并采用拼接融合方法时，所提出的多模态差异网络在CIDEr得分上相比仅使用图像的基础模型提升了34.4%。
• 与基础图像模型相比，使用三个名词作为上下文使BLEU得分提高1.6%，METEOR得分提高2%；而使用三个动词则分别带来1.3%的BLEU提升和2.1%的METEOR提升。
• 基于拼接的融合模型在所有指标上均优于Hadamard和加法方法，尤其在CIDEr上表现更优，表明其更能有效捕捉多模态交互。
• 使用K=4个范例（四个支持性与四个对立性图像）的模型达到最高性能，表明更丰富的对比上下文能提升泛化能力。
• 人工评估显示，80%的情况下生成的问题与人工标注的问题无法区分，证明其具有高度的自然性与参与度。
• 统计显著性检验确认，与基线模型相比的性能提升是稳健的，非随机波动所致。