[论文解读] Unsupervised Image Captioning

Yang Feng, Lin Ma+2 more|arXiv (Cornell University)|Nov 27, 2018

Multimodal Machine Learning Applications参考文献 43被引用 10

一句话总结

本论文提出首个无需任何图像-句子配对标注的无监督图像字幕生成框架。该方法利用句子语料进行对抗性句子生成，从预训练检测器蒸馏视觉概念知识，并通过共享潜在空间中的双向重建来强制实现图像与字幕的一致性，在无配对设置下于MSCOCO数据集上实现了54.9的CIDEr得分，表现优异。

ABSTRACT

Deep neural networks have achieved great successes on the image captioning task. However, most of the existing models depend heavily on paired image-sentence datasets, which are very expensive to acquire. In this paper, we make the first attempt to train an image captioning model in an unsupervised manner. Instead of relying on manually labeled image-sentence pairs, our proposed model merely requires an image set, a sentence corpus, and an existing visual concept detector. The sentence corpus is used to teach the captioning model how to generate plausible sentences. Meanwhile, the knowledge in the visual concept detector is distilled into the captioning model to guide the model to recognize the visual concepts in an image. In order to further encourage the generated captions to be semantically consistent with the image, the image and caption are projected into a common latent space so that they can reconstruct each other. Given that the existing sentence corpora are mainly designed for linguistic research and are thus with little reference to image contents, we crawl a large-scale image description corpus of two million natural sentences to facilitate the unsupervised image captioning scenario. Experimental results show that our proposed model is able to produce quite promising results without any caption annotations.

研究动机与目标

• 消除训练图像字幕模型对昂贵的图像-句子配对数据集的依赖。
• 实现仅使用图像集、句子语料和预训练视觉概念检测器来训练字幕模型。
• 确保生成的字幕在语言上合理，语义上基于图像内容，并在模态间保持一致。
• 探究在无配对数据上进行无监督预训练是否能获得具有竞争力的字幕生成性能。
• 收集并发布一个包含200万条句子的大规模图像描述语料库，以支持无监督训练。

提出的方法

• 在大规模句子语料上训练语言模型，采用对抗性训练使生成的句子与真实句子难以区分。
• 实施概念奖励机制，促使模型在生成的字幕中包含检测到的视觉概念（如物体）。
• 将图像和句子特征映射到共享潜在空间，以支持双向重建：图像 → 字幕 和 字幕 → 图像。
• 利用视觉概念检测器为字幕生成提供监督信号，使其在无配对标签的情况下与图像内容对齐。
• 整合三项目标：对抗性生成、概念奖励和图像-字幕重建，实现端到端联合训练。
• 采用两阶段训练流程：首先使用对抗性训练和概念奖励预训练字幕模型，然后通过重建目标进行微调。

实验结果

研究问题

• RQ1 深度学习模型是否能在完全无图像-句子配对标注的情况下生成高质量的图像字幕？
• RQ2 如何仅使用单语句料库训练字幕模型，使其生成语言上合理的句子？
• RQ3 在无配对数据条件下，视觉概念检测能在多大程度上用于将字幕生成与图像内容对齐？
• RQ4 在共享潜在空间中进行图像-字幕重建在多大程度上能提升生成字幕与输入图像之间的语义一致性？
• RQ5 对抗性生成、概念奖励与重建三者结合是否能带来可测量的无监督字幕性能提升？

主要发现

• 所提出的无监督模型在无配对设置下的MSCOCO测试集上取得了54.9的CIDEr得分，显著优于先前工作（如pivoting [15]）。
• 引入概念奖励后，每条生成句子中正确识别的视觉概念平均数量从约0.6（无初始化时）提升至约0.8，表明字幕内容与图像的对齐性得到改善。
• 包含全部三项目标（对抗性生成、概念奖励与重建）的完整模型性能最高，CIDEr得分为54.9，表明各组件之间存在协同增益。
• 随着每项新目标的引入，模型性能逐步提升：从无重建时的49.0提升至完整重建时的54.9，证实了双向重建的有效性。
• 即使在无任何人工标注字幕的情况下，模型仍能生成合理、多样且语义一致的字幕，验证了无监督图像字幕的可行性。