[论文解读] Reflective Decoding Network for Image Captioning

Lei Ke, Wenjie Pei+3 more|arXiv (Cornell University)|Aug 30, 2019

Multimodal Machine Learning Applications参考文献 53被引用 6

一句话总结

本文提出了一种名为反射解码网络（Reflective Decoding Network, RDN）的新颖图像字幕框架，通过反射注意力机制和位置感知模块，联合关注视觉特征与文本特征，从而增强解码器中的长序列依赖性和位置感知能力。RDN在COCO数据集上取得了最先进性能，尤其在复杂场景图像上表现优异，在CIDEr-c40、METEOR-c40等指标上超越了先前方法。

ABSTRACT

State-of-the-art image captioning methods mostly focus on improving visual features, less attention has been paid to utilizing the inherent properties of language to boost captioning performance. In this paper, we show that vocabulary coherence between words and syntactic paradigm of sentences are also important to generate high-quality image caption. Following the conventional encoder-decoder framework, we propose the Reflective Decoding Network (RDN) for image captioning, which enhances both the long-sequence dependency and position perception of words in a caption decoder. Our model learns to collaboratively attend on both visual and textual features and meanwhile perceive each word's relative position in the sentence to maximize the information delivered in the generated caption. We evaluate the effectiveness of our RDN on the COCO image captioning datasets and achieve superior performance over the previous methods. Further experiments reveal that our approach is particularly advantageous for hard cases with complex scenes to describe by captions.

研究动机与目标

• 为解决传统LSTM解码器在建模图像字幕长距离依赖性方面的局限性。
• 通过显式建模词语间关系与句子中词语的相对位置，提升字幕的连贯性与句法结构。
• 通过可视化过去隐藏状态上的反射注意力，提升字幕生成过程的可解释性。
• 在图像字幕任务中，实现对具有挑战性的复杂场景图像的卓越性能。

提出的方法

• 提出一种反射注意力模块（Reflective Attention Module, RAM），对先前生成的隐藏状态应用注意力机制，以捕捉文本序列中的长期依赖关系。
• 采用双注意力机制，在解码过程中同时关注视觉特征（图像区域）与文本特征（过去隐藏状态）。
• 提出一种反射位置模块（Reflective Position Module, RPM），以监督方式预测句子中每个词的相对位置，从而提升对句法结构的理解能力。
• 采用标准的编码器-解码器框架，使用预训练CNN作为编码器，并在RNN-based解码器中引入RAM与RPM组件。
• 端到端训练模型，使用交叉熵损失进行词预测，同时为RPM模块引入位置预测损失。
• 支持对过去隐藏状态上的注意力权重进行可视化，以解释模型如何基于先前上下文推理词预测。

实验结果

研究问题

• RQ1 建模长距离文本依赖关系是否能提升图像字幕质量，尤其是在复杂场景中？
• RQ2 在解码器中引入相对位置感知能力，如何增强生成字幕的句法结构与连贯性？
• RQ3 对过去隐藏状态的反射注意力机制，是否能提升字幕生成模型的可解释性与推理能力？
• RQ4 所提出的RDN框架是否在COCO数据集的标准与困难样本上均优于现有最先进模型？

主要发现

• RDN在COCO数据集上达到最先进性能，在所有标准指标上均优于先前方法，包括CIDEr-c40、METEOR-c40与CIDEr-c5。
• 在CIDEr-c40基准上，RDN相较Up-Down提升3.9%，相较Att2in提升2.9%，相较RFNet提升1.2%，尽管RFNet使用了多个编码器与复杂特征融合。
• 在平均字幕长度更长的困难样本中（如标注最长的前300张图像），RDN显著优于Up-Down，展现出更强的长序列建模能力。
• 反射注意力机制成功识别出语义相关的过去词语（例如，对'river'关注'bridge'），表明其在上下文推理方面具有改进能力。
• RPM模块预测的相对位置与句子中实际词位高度一致，证实了其强大的位置感知能力。
• 定性分析表明，RDN生成的字幕更具细节性与区分度，例如能根据上下文正确推断出'train'与'tracks'时的'station'。