[论文解读] Unpaired Image Captioning via Scene Graph Alignments

Jiuxiang Gu, Shafiq Joty+4 more|arXiv (Cornell University)|Mar 26, 2019

Multimodal Machine Learning Applications参考文献 42被引用 26

一句话总结

本文提出 Graph-Align，一种新颖的无配对图像字幕生成框架，利用场景图作为图像与文本之间的跨模态桥梁。通过在纯文本数据上预训练场景图编码器和句子解码器，并利用基于 CycleGAN 的无监督特征对齐方法，将图像场景图特征映射到文本模态，该模型无需任何配对的图像-字幕数据即可生成高质量字幕，在 MSCOCO 上显著优于先前的无配对方法。

ABSTRACT

Most of current image captioning models heavily rely on paired image-caption datasets. However, getting large scale image-caption paired data is labor-intensive and time-consuming. In this paper, we present a scene graph-based approach for unpaired image captioning. Our framework comprises an image scene graph generator, a sentence scene graph generator, a scene graph encoder, and a sentence decoder. Specifically, we first train the scene graph encoder and the sentence decoder on the text modality. To align the scene graphs between images and sentences, we propose an unsupervised feature alignment method that maps the scene graph features from the image to the sentence modality. Experimental results show that our proposed model can generate quite promising results without using any image-caption training pairs, outperforming existing methods by a wide margin.

研究动机与目标

• 为解决缺乏大规模配对图像-字幕数据集所带来的挑战，此类数据集的收集成本高且耗时长。
• 通过利用结构化的场景图表示，弥合无配对图像字幕中视觉与文本表征之间的模态差距。
• 开发一种无监督跨模态对齐方法，将图像场景图特征映射到文本特征空间，而无需依赖配对样本。
• 通过利用场景图中的丰富语义关系，在零样本、无配对设置下提升字幕生成质量。

提出的方法

• 该框架使用视觉场景图生成器从图像中提取对象、关系和属性节点，并使用预训练的语言解析器从文本生成句子场景图。
• 场景图编码器和句子解码器首先在大规模纯文本语料上进行预训练，以学习场景图的语义表征。
• 基于 CycleGAN 的无监督特征对齐模块将编码后的图像场景图特征映射到文本特征空间，实现跨模态兼容性。
• 模型采用图卷积网络（GCNs）和注意力机制来编码场景图结构，捕捉复杂的对象关系。
• 对齐过程采用循环一致性对抗训练，确保来自两种模态的特征被映射到一个共享且对齐的潜在空间。
• 三种类型的场景图嵌入——对象、关系和属性——分别映射后拼接，以提升对齐的保真度。

实验结果

研究问题

• RQ1 场景图能否作为有效的中间表示，用于在无配对图像字幕中对齐图像和文本模态？
• RQ2 如何在无任何配对数据的情况下，实现图像与句子场景图之间的无监督特征对齐？
• RQ3 能否通过特征空间对齐，有效将仅在文本上预训练的句子解码器适配到从图像场景图生成字幕？
• RQ4 与端到端模型相比，基于场景图的表征在无配对设置下能在多大程度上提升字幕质量？

主要发现

• Graph-Align 在 MSCOCO 测试集上达到最先进性能，显著优于先前的无配对方法，各项指标均领先，包括 BLEU-4（21.5）、METEOR（20.9）、ROUGE（47.2）、CIDEr（69.5）和 SPICE（15.0）。
• 在表 5 中显示，跨三种嵌入类型（对象、关系、属性）共享的 CycleGAN 映射比单一或拼接 GAN 的对齐效果更优。
• 当判别器输出维度降低至 1 时，性能显著下降，表明强判别器对有效无监督对齐至关重要。
• 定性分析表明，即使图像场景图的细节程度低于句子图，模型仍能生成语义相关的字幕，显示出对模态不平衡的鲁棒性。
• 失败案例揭示，属性表征的错位以及图像图中对局部区域的关注是生成错误的主要原因，凸显了该方法的关键局限性。