[论文解读] Text-guided Attention Model for Image Captioning

Jonghwan Mun, Minsu Cho+1 more|arXiv (Cornell University)|Dec 12, 2016

Multimodal Machine Learning Applications参考文献 28被引用 5

一句话总结

本文提出了一种文本引导的注意力模型用于图像字幕生成，通过利用视觉上相似的训练图像的范例字幕来引导视觉注意力，从而提升对杂乱场景的细粒度描述。通过使用多个共识字幕作为鲁棒引导，该模型在 MS-COCO 基准上实现了最先进性能，且仅用单一模型即超越了以往基于注意力的方法。

ABSTRACT

Visual attention plays an important role to understand images and demonstrates its effectiveness in generating natural language descriptions of images. On the other hand, recent studies show that language associated with an image can steer visual attention in the scene during our cognitive process. Inspired by this, we introduce a text-guided attention model for image captioning, which learns to drive visual attention using associated captions. For this model, we propose an exemplar-based learning approach that retrieves from training data associated captions with each image, and use them to learn attention on visual features. Our attention model enables to describe a detailed state of scenes by distinguishing small or confusable objects effectively. We validate our model on MS-COCO Captioning benchmark and achieve the state-of-the-art performance in standard metrics.

研究动机与目标

• 通过利用训练数据中相关联的文本描述来引导视觉注意力，以提升图像字幕生成质量。
• 通过注意力引导解决在杂乱场景中区分小型或易混淆物体的挑战。
• 开发一种鲁棒的学习方案，以缓解训练和推理过程中指导字幕中的噪声影响。
• 通过端到端可训练的注意力机制，在 MS-COCO 图像字幕基准上实现最先进性能。

提出的方法

• 该模型从训练集中检索视觉上相似的图像，以获取范例字幕作为注意力引导。
• 采用基于采样的训练方案，利用多个共识字幕引导注意力学习，以减少过拟合。
• 注意力机制根据指导字幕的语义内容动态聚焦于图像的相关区域。
• 在训练过程中引入调度采样，通过逐步从真实词转移到预测词来提升泛化能力。
• 该模型使用基于 CNN 的图像编码器（VGG-FCN 或 ResNet）和带有注意力的 LSTM 解码器，实现端到端训练。
• 在推理阶段，使用多个指导字幕来稳定注意力并提升字幕质量，即使单个字幕存在噪声也有效。

实验结果

研究问题

• RQ1 来自视觉上相似图像的相关字幕能否改善图像字幕生成中的视觉注意力？
• RQ2 如何有效结合多个范例字幕以引导注意力并降低对噪声指导的敏感性？
• RQ3 使用文本引导注意力是否能生成更详细、更准确的字幕，尤其是在小型或模糊物体上？
• RQ4 单一模型结合文本引导注意力是否能在 MS-COCO 上超越基于集成的最先进方法？

主要发现

• 所提出的 Ours-ATT-kCC 模型在使用 VGG-FCN 时，在 MS-COCO 测试集的大多数标准指标上均优于所有对比方法。
• 即使使用低精度的共识字幕（mCC）作为指导，模型仍能取得强劲性能，表明其对噪声指导具有鲁棒性。
• 使用 ResNet 作为图像编码器的模型实现了最先进结果，超越了如 NIC 和 Semantic ATT 等基于集成的模型。
• 定性分析表明，该模型能生成更详细的描述（例如“被切成两半的三明治”），优于均匀注意力或基线模型。
• 在推理阶段使用多个指导字幕显著提升了鲁棒性和字幕质量，即使单个字幕不准确也有效。
• 该模型无需集成即可实现卓越性能，凸显了文本引导注意力机制的有效性。