[论文解读] Using Deep Object Features for Image Descriptions

Ashutosh Mishra, Marcus Liwicki|arXiv (Cornell University)|Feb 25, 2019

Multimodal Machine Learning Applications参考文献 6被引用 4

一句话总结

本文提出了一种新颖的图像字幕生成框架，该框架利用深度物体特征及其对应标签作为编码器-解码器架构的输入。通过聚焦于特定检测到的物体及其视觉-语义嵌入，该模型生成了更准确且上下文相关的字幕，相较于使用全图特征的方法，通过改进物体的定位与语义定位，实现了更优的性能。

ABSTRACT

Inspired by recent advances in leveraging multiple modalities in machine translation, we introduce an encoder-decoder pipeline that uses (1) specific objects within an image and their object labels, (2) a language model for decoding joint embedding of object features and the object labels. Our pipeline merges prior detected objects from the image and their object labels and then learns the sequences of captions describing the particular image. The decoder model learns to extract descriptions for the image from scratch by decoding the joint representation of the object visual features and their object classes conditioned by the encoder component. The idea of the model is to concentrate only on the specific objects of the image and their labels for generating descriptions of the image rather than visual feature of the entire image. The model needs to be calibrated more by adjusting the parameters and settings to result in better accuracy and performance.

研究动机与目标

• 通过聚焦于检测到的物体而非全局图像特征，提升图像字幕生成质量。
• 探究物体级别的特征与标签是否能够生成更准确且语义上更稳固的字幕。
• 开发一种模型，使其能够从物体视觉特征与类别标签的联合表示中学习生成描述。
• 通过参数调优与网络结构优化，对模型进行校准以提升性能。

提出的方法

• 该模型使用预训练的物体检测器从输入图像中提取特定物体及其标签。
• 使用深度卷积神经网络（例如，ResNet）对检测到的物体的视觉特征进行嵌入。
• 通过学习的词嵌入层对物体标签进行嵌入，为每个物体生成文本表示。
• 通过拼接或注意力机制对每个物体的视觉与文本嵌入进行融合，形成联合嵌入。
• 编码器-解码器架构处理联合物体表示，以生成自然语言字幕。
• 解码器使用注意力机制，基于编码器的上下文信息逐步生成单词。

实验结果

研究问题

• RQ1 聚焦于单个检测到的物体是否能够提升图像字幕的质量与准确性？
• RQ2 在字幕生成中，使用物体级别的视觉与语义特征与使用全图特征相比有何差异？
• RQ3 物体特征与标签的联合嵌入在多大程度上能增强生成字幕中的语义定位？
• RQ4 模型校准与超参数调优对字幕生成性能有何影响？

主要发现

• 通过聚焦于特定检测到的物体而非全局图像特征，该模型实现了更优的字幕生成性能。
• 对物体使用联合视觉-语义嵌入可生成更准确且上下文相关的描述。
• 与基线方法相比，该框架在生成字幕中的定位能力与语义一致性方面表现更优。
• 经过仔细的模型参数与超参数校准后，性能得到显著提升。