[论文解读] Visual News: Benchmark and Challenges in News Image Captioning

Fuxiao Liu, Yinghan Wang+2 more|arXiv (Cornell University)|Oct 8, 2020

Multimodal Machine Learning Applications参考文献 29被引用 5

一句话总结

本文提出了 Visual News，一个包含一百万张以上新闻图像及其关联文章、标题和元数据的大规模基准数据集，并提出了 Visual News Captioner，一种基于注意力机制的实体感知 Transformer 模型，通过融合视觉与文本特征，特别关注命名实体，从而提升新闻图像字幕生成性能。该模型以更少的参数实现了最先进性能，在多个指标上表现优于先前方法，包括在 Visual News 数据集上达到 50.5 的 CIDEr 分数。

ABSTRACT

We propose Visual News Captioner, an entity-aware model for the task of news image captioning. We also introduce Visual News, a large-scale benchmark consisting of more than one million news images along with associated news articles, image captions, author information, and other metadata. Unlike the standard image captioning task, news images depict situations where people, locations, and events are of paramount importance. Our proposed method can effectively combine visual and textual features to generate captions with richer information such as events and entities. More specifically, built upon the Transformer architecture, our model is further equipped with novel multi-modal feature fusion techniques and attention mechanisms, which are designed to generate named entities more accurately. Our method utilizes much fewer parameters while achieving slightly better prediction results than competing methods. Our larger and more diverse Visual News dataset further highlights the remaining challenges in captioning news images.

研究动机与目标

• 为解决新闻图像字幕任务中缺乏大规模、多样化且丰富标注的数据集的问题。
• 开发一种能有效整合视觉与文本特征的字幕生成模型，尤其关注命名实体和事件级上下文。
• 克服生成新闻图像字幕时面临的挑战，包括词汇表外实体和长尾词汇。
• 对端到端方法与基于模板的方法进行基准测试，揭示两阶段方法在保留上下文丰富性方面的局限性。
• 提供公开可获取的数据集与代码库，以推动新闻图像字幕及相关自然语言处理任务的研究。

提出的方法

• 模型基于 Transformer 架构，采用注意力机制中的多头注意力（AoA），以增强对新闻文章中命名实体的关注。
• 提出一种新颖的相对位置编码方法，用于建模新闻文本中词语的序列与关系结构。
• 提出视觉选择层（Visual Selective Layer），通过选择性地关注相关视觉与文本特征，学习联合的多模态嵌入表示。
• 采用指针-生成解码器处理词汇表外及罕见命名实体，提升对长尾实体的覆盖能力。
• 应用标签清洗后处理步骤，以优化预测结果，尤其提升对不常见命名实体的识别准确性。
• 模型同时关注图像块与词标记，通过实体引导的注意力机制，增强对特定人物、地点与组织的生成能力。

实验结果

研究问题

• RQ1 端到端字幕生成模型与基于模板的方法在新闻图像字幕任务中的性能表现如何比较？
• RQ2 命名实体与事件级上下文在多大程度上提升了新闻图像字幕的质量？
• RQ3 轻量级的实体感知模型是否能在新闻图像字幕基准上超越更大参数量的模型？
• RQ4 通过视觉与文本注意力实现的多模态特征融合，如何影响命名实体生成的准确性？
• RQ5 后处理步骤（如标签清洗）对处理新闻字幕中罕见或词汇表外命名实体的影响如何？

主要发现

• Visual News Captioner 在 Visual News 数据集上取得了 50.5 的 CIDEr 分数，显著优于次优方法。
• 该模型在 GoodNews 与 NYTimes800k 数据集上评估的全部六个指标中均优于当前最先进方法。
• 实体引导（EG）组件在所有数据集上均提升了字幕生成性能，证明了命名实体上下文在生成过程中的价值。
• 视觉选择层通过增强视觉与文本特征之间的对齐，提升了模型性能。
• 标签清洗（TC）步骤使 Visual News 数据集上的 CIDEr 分数提升了 1.3%，表明其在处理罕见实体方面的有效性。
• 尽管参数量更少，Visual News Captioner 仍超越了基于 Transformer 的 Transform and Tell 模型，凸显其高效性与有效性。