[论文解读] Watch What You Just Said: Image Captioning with Text-Conditional Attention

Luowei Zhou, Chenliang Xu+2 more|arXiv (Cornell University)|Jun 15, 2016

Multimodal Machine Learning Applications参考文献 39被引用 20

一句话总结

本文提出了一种用于图像字幕生成的文本条件注意力机制，模型根据先前生成的文本动态聚焦于图像特征，从而提升上下文感知的字幕生成质量。通过将文本条件注意力整合到联合端到端的 gLSTM 框架中，并对 CNN 进行微调，该方法在 MS-COCO 数据集上的自动评估与人工评估指标上均优于当前最先进模型。

ABSTRACT

Attention mechanisms have attracted considerable interest in image captioning due to its powerful performance. However, existing methods use only visual content as attention and whether textual context can improve attention in image captioning remains unsolved. To explore this problem, we propose a novel attention mechanism, called extit{text-conditional attention}, which allows the caption generator to focus on certain image features given previously generated text. To obtain text-related image features for our attention model, we adopt the guiding Long Short-Term Memory (gLSTM) captioning architecture with CNN fine-tuning. Our proposed method allows joint learning of the image embedding, text embedding, text-conditional attention and language model with one network architecture in an end-to-end manner. We perform extensive experiments on the MS-COCO dataset. The experimental results show that our method outperforms state-of-the-art captioning methods on various quantitative metrics as well as in human evaluation, which supports the use of our text-conditional attention in image captioning.

研究动机与目标

• 解决现有注意力机制仅依赖视觉线索、在图像字幕生成过程中忽略文本上下文的局限性。
• 探究并验证文本上下文是否以及如何通过基于先前生成词语的图像特征选择条件化来改善注意力机制。
• 通过实现图像与文本嵌入的联合端到端训练，克服预训练 CNN 特征与语言生成之间的表征脱节问题。
• 开发一种时间依赖的注意力机制，使其基于 1-gram 到 n-gram 的文本上下文进行条件化，包括完整的句子级引导。
• 通过利用语言上下文推断部分可见或模糊的视觉元素，从而提升字幕质量。

提出的方法

• 提出一种文本条件注意力机制，基于 LSTM 解码器的隐藏状态对图像特征选择进行条件化，利用先前生成的文本作为上下文。
• 引入一种引导式 LSTM（gLSTM）架构，支持端到端训练，联合学习图像嵌入、文本嵌入、注意力权重与语言建模。
• 采用可学习的嵌入矩阵，将文本上下文映射为动态图像特征注意力，实现时间依赖的、上下文感知的特征选择。
• 支持多种条件化模式：1-gram、2-gram、n-gram 及完整句子条件化注意力，其中后者最为全面。
• 在训练过程中对 CNN 主干网络进行微调，以使视觉表征与语言生成任务对齐，减少表征脱节。
• 基于 NeuralTalk2 实现模型，通过引入文本条件注意力与端到端联合优化进行扩展。

实验结果

研究问题

• RQ1 在视觉证据微弱或模糊时，文本上下文是否能改善图像字幕中的注意力机制？
• RQ2 基于先前生成的文本条件化图像特征注意力，是否能生成更连贯、更准确的字幕？
• RQ3 一种联合端到端框架（同时学习图像与文本嵌入、注意力与语言建模）是否能优于解耦或预训练特征的方法？
• RQ4 与固定或仅依赖视觉的注意力相比，时间依赖的文本条件注意力（从 1-gram 到句子级）如何影响字幕质量？
• RQ5 文本条件注意力在多大程度上减少了由模糊或部分可见视觉特征引起的错误？

主要发现

• 所提出的文本条件注意力机制在 MS-COCO 数据集上显著优于基线模型 NeuralTalk2 的字幕生成性能。
• 该方法在所有标准评估指标上均优于当前最先进方法，包括 BLEU-1（0.717）、BLEU-4（0.300）、METEOR（0.248）、ROUGE-L（0.515）和 CIDEr-D（0.923），测试集结果表现优异。
• 人工评估确认，使用文本条件注意力生成的字幕更加自然且上下文准确，尤其在推断部分可见物体方面表现更优。
• 句子条件化模型达到最高性能，表明完整的上下文历史能显著提升注意力与生成质量。
• 定性分析显示，即使视觉证据微弱，模型也能根据文本上下文正确推断出如 'sofa' 和 'TV' 等物体，展现出对部分可见性的强鲁棒性。
• 尽管由于训练数据偏差（如从 'sitting' 推断出 'sofa'）存在少数失败案例，但与基线相比，该模型在处理视觉-语言模糊性方面展现出更优的推理能力。