[论文解读] Phrase-based Image Captioning with Hierarchical LSTM Model

Ying Hua Tan, Chee Seng Chan|arXiv (Cornell University)|Nov 11, 2017

Multimodal Machine Learning Applications参考文献 41被引用 4

一句话总结

本文提出了一种基于短语的分层LSTM模型（phi-LSTM），通过先在短语层面解码名词短语，再在句子层面将这些短语组合成完整句子，利用组合向量表示生成图像字幕。与标准的顺序LSTM模型相比，该模型在Flickr8k、Flickr30k和MS-COCO数据集上实现了更高的字幕质量、更大的词汇多样性以及更高的新颖性。

ABSTRACT

Automatic generation of caption to describe the content of an image has been gaining a lot of research interests recently, where most of the existing works treat the image caption as pure sequential data. Natural language, however possess a temporal hierarchy structure, with complex dependencies between each subsequence. In this paper, we propose a phrase-based hierarchical Long Short-Term Memory (phi-LSTM) model to generate image description. In contrast to the conventional solutions that generate caption in a pure sequential manner, our proposed model decodes image caption from phrase to sentence. It consists of a phrase decoder at the bottom hierarchy to decode noun phrases of variable length, and an abbreviated sentence decoder at the upper hierarchy to decode an abbreviated form of the image description. A complete image caption is formed by combining the generated phrases with sentence during the inference stage. Empirically, our proposed model shows a better or competitive result on the Flickr8k, Flickr30k and MS-COCO datasets in comparison to the state-of-the art models. We also show that our proposed model is able to generate more novel captions (not seen in the training data) which are richer in word contents in all these three datasets.

研究动机与目标

• 解决顺序字幕生成模型无法建模自然语言句法层次结构的局限性。
• 通过显式建模图像描述中的短语级结构，提升字幕质量和多样性。
• 探究从短语到句子的分层解码是否能提升图像字幕生成性能。
• 通过对齐短语与句子的时间尺度，减少长期记忆中的冗余。
• 提升生成罕见或未登录词字幕（如'an'、'there'、'three'）的能力，这些词在训练中未被充分覆盖。

提出的方法

• 模型在较低层次使用短语解码器，以单词为原子单元生成可变长度的名词短语（NPs）。
• 每个生成的NP被编码为组合向量表示，并作为输入送入上层的简略句子（AS）解码器。
• AS解码器生成由每个NP的最后一个词及连接词（如'by'、'on'）组成的简略字幕。
• 在束搜索推理过程中，通过组合生成的短语和句子成分形成完整字幕。
• 推理过程中在短语和句子两个层级应用长度归一化，以鼓励生成更长、更详细的字幕。
• 引入短语优化策略，以提升解析质量并增强输出的一致性。

实验结果

研究问题

• RQ1 能否证明一种从短语到句子分层解码的字幕模型在图像字幕任务中优于标准的顺序模型？
• RQ2 分层解码是否能提升生成字幕的多样性和新颖性？
• RQ3 建模短语级结构在多大程度上影响了生成字幕中对象和属性识别的准确性？
• RQ4 该模型在字幕生成过程中在多大程度上减少了长期记忆中的冗余？
• RQ5 与顺序模型相比，该模型是否能更好地生成罕见或低频词（如'an'、'there'、'three'）？

主要发现

• phi-LSTM模型在Flickr8k、Flickr30k和MS-COCO数据集上的表现达到或优于当前最先进模型。
• 模型生成了更多训练数据中未出现过的新型字幕，表明其泛化能力和词汇多样性得到提升。
• 在生成低频词（如'an'、'there'、'three'）方面表现更优，这些词常因局部统计偏差被顺序模型忽略。
• 与基线模型相比，该模型更一致地生成所有格代词（如'her'、'their'），尤其在MS-COCO数据集中因训练数据量更大而表现更佳。
• 分层解码过程显著提高了生成介词（如'by'）和连词（如'while'）的可能性，这些词在顺序模型中常被省略。
• 由于在束搜索过程中减少了高频冠词（如'a'）的干扰，该模型在处理以元音开头的属性（如'an orange shirt'）时表现更优。