[论文解读] VisualNews : Benchmark and Challenges in Entity-aware Image Captioning.

Fuxiao Liu, Yinghan Wang+2 more|arXiv (Cornell University)|Oct 8, 2020

Multimodal Machine Learning Applications参考文献 35被引用 12

一句话总结

本文提出 VisualNews-Captioner，一种注重实体的图像字幕模型，通过引入实体感知模块和实体引导注意力机制，整合视觉与文本特征，以提升命名实体预测性能。该模型在 GoodNews 和 VisualNews 上达到最先进性能，参数量更少，同时引入了一个包含一百万张以上新闻图像、富含元数据的大规模基准数据集。

ABSTRACT

In this paper we propose VisualNews-Captioner, an entity-aware model for the task of news image captioning. We also introduce VisualNews, a large-scale benchmark consisting of more than one million news images along with associated news articles, image captions, author information, and other metadata. Unlike the standard image captioning task, news images depict situations where people, locations, and events are of paramount importance. Our proposed method is able to effectively combine visual and textual features to generate captions with richer information such as events and entities. More specifically, we propose an Entity-Aware module along with an Entity-Guide attention layer to encourage more accurate predictions for named entities. Our method achieves state-of-the-art results on both the GoodNews and VisualNews datasets while having significantly fewer parameters than competing methods. Our larger and more diverse VisualNews dataset further highlights the remaining challenges in captioning news images.

研究动机与目标

• 为解决新闻图像字幕生成中人物、地点和事件等关键信息缺失的挑战，生成信息丰富、富含实体的字幕。
• 开发一种能有效融合视觉与文本特征的模型，以超越标准图像字幕生成的字幕质量。
• 引入一个大规模、多样化的基准数据集（VisualNews），包含超过一百万张新闻图像、字幕、文章及元数据，以支持未来研究。
• 在保持或提升新闻图像字幕任务性能的同时，降低模型复杂度。
• 通过更全面、更真实的大型数据集，揭示实体感知字幕生成中的持续性挑战。

提出的方法

• 提出一种实体感知模块，通过聚焦输入中的命名实体来增强特征表示。
• 引入一种实体引导注意力层，引导注意力机制关注与命名实体相关的视觉和文本特征。
• 结合卷积神经网络提取的视觉特征与关联新闻文章的文本特征，以丰富字幕生成。
• 采用视觉-文本联合建模方法，提升上下文感知的字幕生成能力，尤其在事件和实体识别方面。
• 采用端到端的序列到序列框架，使用交叉熵损失进行字幕生成训练。
• 利用作者信息、文章内容等元数据，增强实体定位与上下文理解。

实验结果

研究问题

• RQ1 如何有效结合视觉与文本特征，以生成富含实体的新闻图像字幕？
• RQ2 实体感知架构在多大程度上能提升图像字幕中的命名实体识别与定位性能？
• RQ3 轻量化模型是否能在减少参数量的同时，实现新闻图像字幕任务的最先进性能？
• RQ4 在现有基准上，生成准确且上下文丰富的新闻图像字幕面临哪些关键挑战？
• RQ5 像 VisualNews 这样大规模、多样化的基准如何揭示当前字幕生成模型的局限性？

主要发现

• 所提出的 VisualNews-Captioner 在 GoodNews 和 VisualNews 基准上均达到最先进性能。
• 该模型在显著减少参数量的同时实现更优性能，表明参数效率更高。
• 实体感知模块与实体引导注意力层显著提升了字幕中命名实体的预测准确性。
• 包含超过一百万张图像及丰富元数据的 VisualNews 基准揭示了实体感知字幕中的持续性挑战。
• 该模型在多样化新闻图像场景中表现出强大的泛化能力，尤其在捕捉事件与实体方面表现突出。