[论文解读] Towards Accurate Text-based Image Captioning with Content Diversity Exploration

Guanghui Xu, Shuaicheng Niu+4 more|arXiv (Cornell University)|Apr 23, 2021

Multimodal Machine Learning Applications参考文献 49被引用 4

一句话总结

本文提出Anchor-Captioner，一种新颖的基于文本的图像字幕生成方法，通过首先识别关键文本标记（锚点），将它们分组为以锚点为中心的图（ACG），然后利用这些ACG引导多视角字幕生成，从而生成多样且细粒度的字幕。该方法在TextCaps数据集上实现了最先进性能，相比之前的最先进方法，CIDEr得分提高了6分。

ABSTRACT

Text-based image captioning (TextCap) which aims to read and reason images with texts is crucial for a machine to understand a detailed and complex scene environment, considering that texts are omnipresent in daily life. This task, however, is very challenging because an image often contains complex texts and visual information that is hard to be described comprehensively. Existing methods attempt to extend the traditional image captioning methods to solve this task, which focus on describing the overall scene of images by one global caption. This is infeasible because the complex text and visual information cannot be described well within one caption. To resolve this difficulty, we seek to generate multiple captions that accurately describe different parts of an image in detail. To achieve this purpose, there are three key challenges: 1) it is hard to decide which parts of the texts of images to copy or paraphrase; 2) it is non-trivial to capture the complex relationship between diverse texts in an image; 3) how to generate multiple captions with diverse content is still an open problem. To conquer these, we propose a novel Anchor-Captioner method. Specifically, we first find the important tokens which are supposed to be paid more attention to and consider them as anchors. Then, for each chosen anchor, we group its relevant texts to construct the corresponding anchor-centred graph (ACG). Last, based on different ACGs, we conduct multi-view caption generation to improve the content diversity of generated captions. Experimental results show that our method not only achieves SOTA performance but also generates diverse captions to describe images.

研究动机与目标

• 解决基于文本的图像字幕（TextCap）中单全局字幕方法的局限性，这些方法无法捕捉复杂且细粒度的文本与视觉信息。
• 通过生成聚焦于图像不同区域的多个字幕，提升字幕的准确性和多样性。
• 解决识别哪些文本标记对字幕生成最具信息量的挑战。
• 建模图像中多样化文本元素之间的复杂关系，以提升字幕生成质量。
• 通过结构化的文本组（ACG）引导多视角字幕生成，提升内容覆盖度。

提出的方法

• 通过锚点预测器选择锚点，该预测器基于语义和视觉上下文对标记重要性进行排序。
• 每个选定的锚点通过循环神经网络构建以锚点为中心的图（ACG），以建模与相关文本标记之间的关系。
• 每张图像生成多个ACG，每个ACG代表一个不同的区域或概念，用于聚焦字幕生成。
• 首先使用全局视觉特征生成视觉特定字幕。
• 然后利用每个ACG将视觉字幕细化为文本特定字幕，提升准确性和细节。
• 锚点字幕模块（AnCM）利用ACG生成多个视角下多样且上下文相关的字幕。

实验结果

研究问题

• RQ1 在包含多处文本的复杂场景中，如何识别图像中最具信息量的文本标记用于字幕生成？
• RQ2 如何建模图像中多样化文本元素之间的复杂关系以提升字幕质量？
• RQ3 我们能否生成多个多样化的字幕，每个聚焦于图像的不同部分，而非单一全局字幕？
• RQ4 如何将文本信息结构化为连贯的组（ACG）以引导多视角字幕生成？
• RQ5 基于ACG的字幕生成在多大程度上能同时提升准确性和多样性？

主要发现

• 所提出的Anchor-Captioner在TextCaps数据集上达到95.5的CIDEr得分，相比之前最先进方法提升了6分。
• 消融实验表明，使用锚点提议模块（AnPM）预测的ACG显著优于基线方法。
• 平均而言，未知标记（<$unk$>）数量减少了26.85%，表明文本覆盖度和字幕精炼能力得到提升。
• 即使在给予相同ACG输入的情况下，AnCM仍优于M4C-Captioner，证明其更强的字幕生成能力。
• 使用ACG使包含<$unk$>标记的字幕减少了66.39%，表明对OCR内容的处理能力显著提升。
• 可视化结果证实，该方法生成的字幕具有多样性和细粒度，覆盖的OCR标记多于基线模型。