[论文解读] SG2Caps: Revisiting Scene Graphs for Image Captioning.

Subarna Tripathi, Kien Nguyen+3 more|arXiv (Cornell University)|Feb 9, 2021

Multimodal Machine Learning Applications参考文献 5被引用 5

一句话总结

SG2Caps 提出了一种新颖的图像字幕生成框架，仅使用场景图标签即实现了最先进性能，无需卷积神经网络（CNN）特征或图卷积网络。通过结合空间信息与人-物交互（HOI）信息，对齐图像与字幕的场景图，该方法将参数量减少49%，并取得110的CIDEr得分，优于以往仅使用场景图的模型。

ABSTRACT

The mainstream image captioning models rely on Convolutional Neural Network (CNN) image features with an additional attention to salient regions and objects to generate captions via recurrent models. Recently, scene graph representations of images have been used to augment captioning models so as to leverage their structural semantics, such as object entities, relationships and attributes. Several studies have noted that naive use of scene graphs from a black-box scene graph generator harms image caption-ing performance, and scene graph-based captioning mod-els have to incur the overhead of explicit use of image features to generate decent captions. Addressing these challenges, we propose a framework, SG2Caps, that utilizes only the scene graph labels for competitive image caption-ing performance. The basic idea is to close the semantic gap between two scene graphs - one derived from the input image and the other one from its caption. In order to achieve this, we leverage the spatial location of objects and the Human-Object-Interaction (HOI) labels as an additional HOI graph. Our framework outperforms existing scene graph-only captioning models by a large margin (CIDEr score of 110 vs 71) indicating scene graphs as a promising representation for image captioning. Direct utilization of the scene graph labels avoids expensive graph convolutions over high-dimensional CNN features resulting in 49%fewer trainable parameters.

研究动机与目标

• 解决在图像字幕生成中因直接使用黑箱场景图生成器而导致的性能下降问题。
• 消除在基于场景图的字幕生成中对昂贵CNN特征和图卷积网络的依赖。
• 通过空间信息与HOI信息，弥合由图像生成的场景图与由字幕生成的场景图之间的语义鸿沟。
• 仅使用场景图标签实现具有竞争力的字幕生成性能，避免昂贵的特征提取过程。

提出的方法

• 该框架从输入图像构建一个场景图，同时从真实字幕构建另一个场景图，以对齐其语义结构。
• 通过引入物体的空间位置信息以及人-物交互（HOI）标签，丰富场景图的表示。
• 训练一个图到序列模型，直接从场景图生成字幕，绕过CNN特征。
• 采用双图对齐机制，最小化图像与字幕场景图之间的分布差异。
• 通过直接建模场景图中的关系，避免使用图卷积网络，从而减少参数量。
• 该架构端到端可训练，注意力机制聚焦于结构关系而非视觉特征。

实验结果

研究问题

• RQ1 仅使用场景图标签而无需CNN特征，能否显著提升图像字幕生成性能？
• RQ2 结合空间信息与HOI信息在对齐图像与字幕场景图方面的有效性如何？
• RQ3 通过结构对齐，图像与字幕场景图之间的语义鸿沟能在多大程度上被缩小？
• RQ4 在不损失性能的前提下，消除图卷积网络与CNN特征是否能显著减少模型参数量？
• RQ5 仅使用场景图的模型能否超越依赖视觉与结构特征混合的现有模型？

主要发现

• SG2Caps 取得110的CIDEr得分，显著优于以往仅使用场景图的模型（此前最高仅71分）。
• 与使用CNN特征和图卷积网络的模型相比，该模型将可训练参数量减少了49%。
• 直接使用场景图标签而无需额外视觉特征，可实现更优性能，表明仅靠场景图即可实现高质量字幕生成。
• 空间信息与HOI信息的整合增强了图像与字幕场景图之间的对齐，提升了语义一致性。
• 该框架表明，当场景图被有效利用时，显式图像特征并非实现竞争力字幕生成的必要条件。
• 该模型性能超越现有基于场景图的方法，证明场景图是图像字幕生成中极具前景的表示形式。