[论文解读] Self-Guiding Multimodal LSTM - when we do not have a perfect training dataset for image captioning

Yang Xian, Yingli Tian|arXiv (Cornell University)|Sep 15, 2017

Multimodal Machine Learning Applications参考文献 39被引用 4

一句话总结

本文提出了一种自引导多模态LSTM（sg-LSTM）框架，以提升在FlickrNYC等噪声大、不平衡的真实世界数据集上的图像字幕生成性能，这些数据集中的用户生成描述在长度和相关性上差异显著。通过在一组强对齐的图像-文本对上训练多模态LSTM以提取引导性文本特征，该方法增强了在更大规模数据集上的字幕生成能力，在生成语义准确、内容相关的描述方面优于标准多模态RNN和LSTM模型。

ABSTRACT

In this paper, a self-guiding multimodal LSTM (sg-LSTM) image captioning model is proposed to handle uncontrolled imbalanced real-world image-sentence dataset. We collect FlickrNYC dataset from Flickr as our testbed with 306,165 images and the original text descriptions uploaded by the users are utilized as the ground truth for training. Descriptions in FlickrNYC dataset vary dramatically ranging from short term-descriptions to long paragraph-descriptions and can describe any visual aspects, or even refer to objects that are not depicted. To deal with the imbalanced and noisy situation and to fully explore the dataset itself, we propose a novel guiding textual feature extracted utilizing a multimodal LSTM (m-LSTM) model. Training of m-LSTM is based on the portion of data in which the image content and the corresponding descriptions are strongly bonded. Afterwards, during the training of sg-LSTM on the rest training data, this guiding information serves as additional input to the network along with the image representations and the ground-truth descriptions. By integrating these input components into a multimodal block, we aim to form a training scheme with the textual information tightly coupled with the image content. The experimental results demonstrate that the proposed sg-LSTM model outperforms the traditional state-of-the-art multimodal RNN captioning framework in successfully describing the key components of the input images.

研究动机与目标

• 解决在Flickr等非受控、噪声大且不平衡的真实世界数据集上训练图像字幕模型的挑战，其中描述在长度、质量以及与图像的语义一致性方面存在差异。
• 克服传统数据驱动字幕框架对‘完美’训练数据的依赖，而这类数据在实际中很少见。
• 开发一种自引导机制，利用高质量、图像对齐的描述子集来引导在完整、更嘈杂数据集上的字幕模型训练。
• 通过在训练期间将图像特征与动态学习的文本引导紧密耦合，提升生成字幕的语义和句法质量。
• 证明所提出的框架即使在真实字幕模糊或不相关的情况下，仍能优于标准多模态RNN和LSTM基线模型，生成更准确、内容相关的描述。

提出的方法

• 使用‘纽约市’作为关键词从Flickr收集FlickrNYC数据集，包含306,165张图像，附带用户提供的描述，其长度和质量各不相同。
• 根据文本连贯性与图像内容的一致性，将数据集分为两部分：$data_s$（短且图像对齐的描述）和 $data_l$（长且可能对齐度较低的描述）。
• 在 $data_s$ 上训练多模态LSTM（m-LSTM），以学习捕捉强图像-文本关联的引导性文本特征表示。
• 利用学习到的m-LSTM为 $data_l$ 中每张图像生成引导性文本特征，这些特征随后与图像特征和真实字幕在sg-LSTM模型训练中融合。
• 将图像特征、真实字幕和引导性文本特征整合到sg-LSTM架构中的多模态模块内，以实现通过引导特征获得强监督的联合学习。
• 应用TF-IDF加权与GloVe词嵌入（维度50）对引导性文本特征进行向量化，以优化语义相关性并减少引导信号中的噪声。

实验结果

研究问题

• RQ1 当训练数据存在噪声、不平衡且图像与描述之间缺乏强对齐时，自引导机制是否能提升图像字幕生成性能？
• RQ2 在小规模高质量图像-文本对子集上训练的多模态LSTM，在生成能提升在更大规模、更嘈杂数据集上字幕生成性能的引导特征方面，效果如何？
• RQ3 将学习到的引导性文本特征整合到字幕模型中，是否能生成比标准多模态RNN或LSTM基线更准确、更具语义意义的描述？
• RQ4 在原始用户描述缺失或错误的情况下，该框架在在多大程度上能恢复关键视觉内容（如地标、物体、活动）？
• RQ5 文本向量化方案的选择（如GloVe、TF-IDF）在多大程度上影响自引导字幕框架的性能？

主要发现

• 采用GloVe-TF-IDF（50D）向量化方案的sg-LSTM模型在所有评估设置中取得了最佳定量性能，优于 $data_l$ 测试集上的m-RNN和m-LSTM基线模型。
• 在定性比较中（图5和图6）显示，sg-LSTM模型生成的描述在某些情况下比原始用户描述更具语义准确性和内容相关性。
• 即使原始描述中未明确提及，该模型仍成功恢复了关键视觉元素，如地标、天气状况和特定活动。
• 尽管FlickrNYC数据集具有高度噪声，该框架通过利用小规模高质量子集（$data_s$）的引导特征，显著降低了低质量或无关描述的影响，从而实现了高性能。
• m-RNN基线在数值评估中表现欠佳，原因是过度拟合训练数据中高频但不相关的短语，凸显出自引导机制的优势。
• 该框架对模糊或缺失的视觉线索表现出鲁棒性——例如，通过依赖学习到的引导而非仅依赖直接图像线索，能够准确区分‘日落’与‘日出’。