[论文解读] Show and Tell: A Neural Image Caption Generator

Oriol Vinyals, Alexander Toshev+2 more|arXiv (Cornell University)|Nov 17, 2014

Multimodal Machine Learning Applications被引用 186

一句话总结

本文提出了神经图像字幕（NIC），一种端到端的深度学习模型，利用卷积神经网络（CNN）编码图像特征，并使用循环神经网络（RNN）生成流畅且上下文相关的自然语言描述。该模型在多项指标上达到当时最先进水平，Pascal VOC数据集上的BLEU-1得分为59（优于先前工作的25分），COCO数据集上的BLEU-4得分为27.7，已接近人类水平。

ABSTRACT

Automatically describing the content of an image is a fundamental problem in artificial intelligence that connects computer vision and natural language processing. In this paper, we present a generative model based on a deep recurrent architecture that combines recent advances in computer vision and machine translation and that can be used to generate natural sentences describing an image. The model is trained to maximize the likelihood of the target description sentence given the training image. Experiments on several datasets show the accuracy of the model and the fluency of the language it learns solely from image descriptions. Our model is often quite accurate, which we verify both qualitatively and quantitatively. For instance, while the current state-of-the-art BLEU-1 score (the higher the better) on the Pascal dataset is 25, our approach yields 59, to be compared to human performance around 69. We also show BLEU-1 score improvements on Flickr30k, from 56 to 66, and on SBU, from 19 to 28. Lastly, on the newly released COCO dataset, we achieve a BLEU-4 of 27.7, which is the current state-of-the-art.

研究动机与目标

• 开发一种端到端的神经网络，能够从图像中生成描述性自然语言句子，融合视觉与语言理解能力。
• 通过训练单一联合模型，解决先前方法依赖手工设计模板或模块化流水线的局限性。
• 通过利用预训练的CNN进行视觉特征提取，以及利用RNN进行序列生成，提升字幕生成质量。
• 证明在图像-字幕对上进行联合训练，可生成流畅、准确且语义有意义的描述。
• 展示模型在未见过的对象组合上具有良好泛化能力，并在基准数据集上取得具有竞争力的性能。

提出的方法

• 使用预训练的卷积神经网络（如GoogLeNet）作为视觉编码器，从最后一层隐藏层提取图像的固定长度表征。
• 采用长短期记忆（LSTM）循环神经网络作为语言解码器，基于图像嵌入逐词生成句子序列。
• 使用随机梯度下降端到端训练整个模型，以最大化给定输入图像时真实字幕的似然概率。
• 利用词嵌入向量表示输入词汇，以捕捉语义关系，从而提升对罕见或未见词组合的泛化能力。
• 通过RNN隐藏状态隐式实现软注意力机制，使模型在生成字幕时能动态聚焦于图像的相关区域。
• 利用大规模图像-字幕数据集（如COCO、Flickr30k）通过监督学习在图像-句子配对数据上进行模型训练。

实验结果

研究问题

• RQ1 单一端到端的深度学习模型能否直接从图像生成流畅且准确的自然语言描述？
• RQ2 联合CNN-RNN架构的性能与模块化、模板化或基于规则的字幕系统相比如何？
• RQ3 当视觉与语言组件联合微调时，预训练的视觉与语言组件能在多大程度上提升字幕质量？
• RQ4 该模型在训练过程中未见过的对象组合上泛化能力如何？
• RQ5 自动评估指标（如BLEU）与人类对字幕质量的评价之间相关性如何？

主要发现

• 在Pascal VOC数据集上，NIC的BLEU-1得分为59，显著优于先前最先进水平（25分），并接近人类水平（69分）。
• 在Flickr30k数据集上，BLEU-1得分从56提升至66，表明模型在字幕生成中具备出色的泛化能力与流畅性。
• 在SBU数据集上，BLEU-1得分从19提升至28，表明模型在多样化、开放域的图像-字幕配对数据上具有强大鲁棒性。
• 在COCO数据集上，NIC的BLEU-4得分为27.7，是该论文发表时的最先进水平。
• 人工评估显示，NIC生成的字幕评分显著高于基线系统（Flickr-8k数据集平均2.37分），且更接近真实字幕（平均3.89分），但仍低于人类水平。
• 词嵌入分析表明，模型学习到了有意义的语义关系（例如，'horse'、'pony'、'donkey'在嵌入空间中彼此接近），从而有助于对罕见或未见概念的泛化。