[论文解读] What value high level concepts in vision to language problems

Qi Wu, Chunhua Shen+3 more|arXiv (Cornell University)|Jun 3, 2015

Multimodal Machine Learning Applications参考文献 60被引用 3

一句话总结

本文提出在CNN-RNN框架中引入高层语义概念，以提升视觉-语言任务中的图像字幕生成与视觉问答性能。通过显式建模语义概念，该方法取得了当前最优结果，并表明外部语义知识可进一步提升准确性。

ABSTRACT

Much of the recent progress in Vision-to-Language (V2L) problems has been achieved through a combination of Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs). This approach does not explicitly represent high-level semantic concepts, but rather seeks to progress directly from image features to text. We propose here a method of incorporating high-level concepts into the very successful CNN-RNN approach, and show that it achieves a significant improvement on the state-of-the-art performance in both image captioning and visual question answering. We also show that the same mechanism can be used to introduce external semantic information and that doing so further improves performance. In doing so we provide an analysis of the value of high level semantic information in V2L problems.

研究动机与目标

• 探究在视觉-语言任务中引入高层语义概念是否能提升性能。
• 开发一种将语义概念整合到现有CNN-RNN架构中的方法，以支持视觉-语言建模。
• 评估外部语义信息对图像字幕生成与视觉问答任务中模型性能的影响。
• 分析高层语义表征在连接视觉与语言理解方面的作用。

提出的方法

• 该方法通过在视觉特征空间中引入显式表示高层语义概念的机制，扩展了CNN-RNN框架。
• 在RNN的解码阶段，将高层概念作为额外输入特征引入，使模型能够基于语义属性进行推理。
• 该方法支持整合外部语义知识，例如来自预训练模型或知识库的概念嵌入。
• 模型采用标准的字幕生成与VQA损失函数进行端到端训练，并在概念预测任务上增加监督信号。
• 通过专用分类器从图像特征中预测语义概念，并将其输入语言解码器。
• 该框架支持语义概念的零样本与微调集成，实现跨数据集的灵活应用。

实验结果

研究问题

• RQ1 高层语义概念的集成如何影响图像字幕生成与视觉问答任务的性能？
• RQ2 当与学习到的概念结合时，外部语义知识是否能进一步提升模型性能？
• RQ3 与直接的图像到文本映射相比，显式建模语义概念的相对贡献是什么？
• RQ4 该方法在处理域外或罕见概念时的鲁棒性如何？

主要发现

• 引入高层语义概念显著提升了图像字幕生成与视觉问答任务的性能。
• 该方法在两类任务的基准数据集上均取得了当前最优结果。
• 与仅依赖学习到的概念的基线模型相比，引入外部语义信息可进一步提升性能。
• 该模型在罕见或复杂视觉概念上的泛化能力得到改善。