[论文解读] Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models

Ryan Kiros, Ruslan Salakhutdinov+1 more|arXiv (Cornell University)|Nov 10, 2014

Multimodal Machine Learning Applications参考文献 47被引用 1,320

一句话总结

本文提出了一种统一的编码器-解码器框架，通过基于LSTM的句子编码和一种新颖的结构-内容神经语言模型（SC-NLM）进行解码，学习联合的视觉-语义嵌入空间。该方法在未使用目标检测的情况下，在Flickr8K和Flickr30K数据集上取得了最先进性能，并在使用深层特征时刷新了SOTA结果，同时通过向量运算展示了多模态向量空间中的语言规律性。

ABSTRACT

Inspired by recent advances in multimodal learning and machine translation, we introduce an encoder-decoder pipeline that learns (a): a multimodal joint embedding space with images and text and (b): a novel language model for decoding distributed representations from our space. Our pipeline effectively unifies joint image-text embedding models with multimodal neural language models. We introduce the structure-content neural language model that disentangles the structure of a sentence to its content, conditioned on representations produced by the encoder. The encoder allows one to rank images and sentences while the decoder can generate novel descriptions from scratch. Using LSTM to encode sentences, we match the state-of-the-art performance on Flickr8K and Flickr30K without using object detections. We also set new best results when using the 19-layer Oxford convolutional network. Furthermore we show that with linear encoders, the learned embedding space captures multimodal regularities in terms of vector space arithmetic e.g. *image of a blue car* - "blue" + "red" is near images of red cars. Sample captions generated for 800 images are made available for comparison.

研究动机与目标

• 将联合图像-文本嵌入模型与多模态神经语言模型统一，实现端到端的图像字幕生成。
• 开发一种结构-内容神经语言模型（SC-NLM），在多模态嵌入条件下将句子结构与内容解耦。
• 通过单一统一框架同时实现图像-句子排序与新型字幕生成。
• 探究多模态向量空间是否支持类似于单语词嵌入中的语言规律性。
• 通过神经序列生成方法，提升字幕质量，超越模板化与组合式方法。

提出的方法

• 使用LSTM编码器将句子嵌入共享的视觉-语义空间，图像特征通过线性投影映射到同一空间。
• 采用成对排序损失优化联合嵌入空间，确保语义相似的图像-句子对在向量空间中彼此接近。
• 引入结构-内容神经语言模型（SC-NLM），在编码器输出的条件下进行生成，同时将句法结构与语义内容解耦。
• 应用线性句子编码（词向量之和）以实现在多模态空间中的向量运算，例如 *image of a blue car* − "blue" + "red" ≈ images of red cars。
• 在Flickr30K与MS-COCO数据集的组合上训练编码器-解码器流水线，使用19层牛津卷积网络提取的特征以提升性能。
• 采用PCA投影与最近邻检索技术，定性分析所学多模态空间中的类比关系与结构规律性。

实验结果

研究问题

• RQ1 统一的编码器-解码器框架能否有效结合图像-文本嵌入学习与神经字幕生成？
• RQ2 所提出的结构-内容神经语言模型（SC-NLM）是否相比先前方法生成更流畅且更多样化的字幕？
• RQ3 多模态向量空间是否能支持诸如类比推理等语言规律性，通过向量运算加以验证？
• RQ4 该模型在Flickr8K与Flickr30K等标准图像字幕基准测试中的性能与最先进方法相比如何？
• RQ5 线性编码器在检索准确率低于LSTM的情况下，能在多大程度上保持多模态嵌入中的语言规律性？

主要发现

• 该模型在未使用目标检测的情况下，于Flickr8K与Flickr30K数据集上实现了最先进性能，与或超越了先前的SOTA结果。
• 使用19层牛津卷积网络提取的特征后，该模型在Flickr8K与Flickr30K上均刷新了SOTA结果，证明了对深层特征的更优利用。
• 线性编码器使多模态空间中的向量运算成为可能，例如 *image of a blue car* − "blue" + "red" 生成的表示接近于红色汽车的图像，证实了多模态嵌入中的语言规律性。
• SC-NLM生成的字幕在定性上优于先前方法，表现出更高的流畅性与多样性，与TreeTalk及最近邻基线方法的对比结果已验证此点。
• 该模型通过编码器成功检索相关图像与句子，同时解码器能从零开始生成新颖且连贯的字幕，验证了框架的双重功能。
• 该框架自然支持检索（排序）与生成任务，证明了视觉-语义嵌入与多模态语言建模的统一。