[论文解读] Recurrent Image Captioner: Describing Images with Spatial-Invariant Transformation and Attention Filtering

Hao Líu, Yang Yang+3 more|arXiv (Cornell University)|Dec 15, 2016

Multimodal Machine Learning Applications参考文献 6被引用 6

一句话总结

本文提出了一种新型端到端图像字幕生成架构——循环图像字幕模型（RIC），通过可微分空间变换层实现空间不变特征学习，并引入可微分注意力过滤模块，动态突出显著视觉区域。通过在编码器与解码器之间引入循环反馈机制，并采用变分推断进行优化，RIC在Flickr8k、Flickr30k和MS COCO数据集上取得了最先进性能，优于大多数现有方法，包括那些采用额外监督的方法。

ABSTRACT

Along with the prosperity of recurrent neural network in modelling sequential data and the power of attention mechanism in automatically identify salient information, image captioning, a.k.a., image description, has been remarkably advanced in recent years. Nonetheless, most existing paradigms may suffer from the deficiency of invariance to images with different scaling, rotation, etc.; and effective integration of standalone attention to form a holistic end-to-end system. In this paper, we propose a novel image captioning architecture, termed Recurrent Image Captioner ( extbf{RIC}), which allows visual encoder and language decoder to coherently cooperate in a recurrent manner. Specifically, we first equip CNN-based visual encoder with a differentiable layer to enable spatially invariant transformation of visual signals. Moreover, we deploy an attention filter module (differentiable) between encoder and decoder to dynamically determine salient visual parts. We also employ bidirectional LSTM to preprocess sentences for generating better textual representations. Besides, we propose to exploit variational inference to optimize the whole architecture. Extensive experimental results on three benchmark datasets (i.e., Flickr8k, Flickr30k and MS COCO) demonstrate the superiority of our proposed architecture as compared to most of the state-of-the-art methods.

研究动机与目标

• 为解决现有图像字幕模型在缩放、旋转和平移等空间变换下缺乏空间不变性的问题。
• 通过将注意力机制作为可微分的协同组件而非独立模块，实现端到端训练。
• 通过编码器与解码器之间的循环反馈机制，缩小低层次视觉特征与高层次语言语义之间的语义鸿沟。
• 采用变分推断优化整个架构，以提升生成质量与鲁棒性。

提出的方法

• 为基于CNN的视觉编码器配备可微分空间变换层，以实现视觉特征表示的空间不变性。
• 引入可微分注意力过滤模块，基于先前的视觉特征和生成的字幕动态选择显著视觉区域。
• 在LSTM解码器与空间变换层之间建立循环反馈回路，迭代优化视觉表征。
• 采用双向LSTM以在句子生成过程中丰富文本表征。
• 使用变分推断优化整个架构，以最大化真实字幕似然性的下界。
• 在所有数据集上均使用VGG-16作为视觉编码器，Adam优化器进行训练。

实验结果

研究问题

• RQ1 可微分空间变换层是否能提升图像字幕生成对缩放与旋转等空间变化的鲁棒性？
• RQ2 将可微分注意力过滤模块集成到编码器-解码器循环中，是否能实现更优的显著图像区域定位并提升字幕质量？
• RQ3 编码器与解码器之间的循环反馈机制是否能有效缩小视觉特征与生成语言之间的语义鸿沟？
• RQ4 基于变分推断的优化是否能在图像字幕生成任务中实现比标准似然最大化更优的泛化能力与性能表现？

主要发现

• 同时包含空间变换层（STL）与可微分注意力过滤模块（DAF）的RIC模型，在Flickr8k、Flickr30k和MS COCO数据集上优于大多数最先进方法，BLEU与METEOR得分更高。
• 仅使用STL的RIC模型已超越以往基于注意力机制的模型（如[54]），证明了空间不变性的优势。
• 加入DAF模块后性能进一步提升，表明动态注意力过滤可增强字幕的准确度与细节表达。
• 采用变分推断的完整RIC模型实现了最先进结果，甚至优于使用额外监督（如图像-属性映射或半监督ImageNet预训练）的模型。
• 该模型无需额外属性词典或外部监督即可实现优异性能，表明其高效性与端到端优化的优越性。