[论文解读] Unpaired Image Captioning by Language Pivoting

Jiuxiang Gu, Shafiq Joty+2 more|arXiv (Cornell University)|Mar 14, 2018

Multimodal Machine Learning Applications参考文献 23被引用 10

一句话总结

本文提出了一种新颖的无配对图像字幕生成方法，通过使用一种中间语言（中文）将字幕知识迁移至目标语言（英文），而无需在目标语言中使用配对的图像-字幕数据。通过联合训练图像到中间语言的字幕模型和中间语言到目标语言的翻译模型，并采用适配的词嵌入与联合优化策略，该方法在MSCOCO和Flickr30K数据集上实现了最先进性能，在自动评估与人工评估指标上均优于基线模型。

ABSTRACT

Image captioning is a multimodal task involving computer vision and natural language processing, where the goal is to learn a mapping from the image to its natural language description. In general, the mapping function is learned from a training set of image-caption pairs. However, for some language, large scale image-caption paired corpus might not be available. We present an approach to this unpaired image captioning problem by language pivoting. Our method can effectively capture the characteristics of an image captioner from the pivot language (Chinese) and align it to the target language (English) using another pivot-target (Chinese-English) sentence parallel corpus. We evaluate our method on two image-to-English benchmark datasets: MSCOCO and Flickr30K. Quantitative comparisons against several baseline approaches demonstrate the effectiveness of our method.

研究动机与目标

• 解决在缺乏大规模图像-字幕配对数据集的低资源语言中训练高效图像字幕模型的挑战。
• 克服基于流水线的翻译方法在图像字幕任务中的局限性，后者因错误传播和字幕数据与通用翻译数据之间的领域不匹配而表现不佳。
• 通过将源语言（中文）作为中间语言，仅使用源语言的图像-字幕对和源语言与目标语言之间的平行语料，实现在目标语言（英文）中的零样本图像字幕生成。
• 通过共享优化与适配的词表示，联合训练视觉到中间语言的字幕模型与中间语言到目标语言的翻译模型，以提升字幕的质量与多样性。

提出的方法

• 在大规模图像-字幕数据集（AIC-ICC）上训练图像到中间语言的字幕模型（图像→中文），以学习图像描述的模式。
• 在独立的中英平行语料库（AIC-MT）上训练中间语言到目标语言的翻译模型（中文→英文），采用编码器-解码器架构。
• 对翻译模型的编码器（中文）和解码器（英文）中的词嵌入进行适配，使其与图像字幕的分布和风格对齐，从而提升生成字幕的流畅性。
• 通过共享的训练过程联合优化图像字幕模型与翻译模型，使组件在学习过程中能够相互交互。
• 在未来工作中采用类似回译的数据增强方法，生成合成的中英平行数据，以提升泛化能力。
• 将该框架应用于MSCOCO和Flickr30K数据集，仅使用中文图像字幕和中英句子对，实现零样本英文字幕生成。

实验结果

研究问题

• RQ1 中间语言（中文）是否能有效弥合图像字幕与机器翻译之间的差距，实现在无配对训练数据的低资源语言（英文）中的零样本图像字幕生成？
• RQ2 在基于中间语言的字幕框架中，如何缓解图像字幕与通用平行语料库之间在领域与风格上的差异？
• RQ3 与流水线基线相比，联合训练图像字幕模型与翻译模型在多大程度上能提升字幕的质量与多样性？
• RQ4 将翻译模型编码器与解码器中的词嵌入适配至图像字幕分布，是否能增强生成字幕的流畅性与相关性？
• RQ5 所提方法是否能在不使用目标语言中任何配对图像-字幕数据的前提下，在MSCOCO和Flickr30K等标准基准上实现具有竞争力的性能？

主要发现

• 所提方法在MSCOCO和Flickr30K上实现了最先进性能，在BLEU、ROUGE和METEOR等自动评估指标上均优于多个基线方法。
• 在MSCOCO 5K测试集上，该模型的BLEU-4得分为74.3，显著高于基线流水线方法（70.1），且接近上限（76.1）。
• 与配对基线相比，该模型生成的字幕更具多样性，表现为更低的Self-BLEU得分（Self-BLEU@5为80.2），低于上限（90.7），表明重复性更低。
• 在1,200个样本的人工评估中，该模型的字幕在相关性上得分为3.81，在相似性上得分为3.78，接近真实标签得分（4.68和4.48），表明其具备接近人类水平的质量。
• 定性结果表明，与配对模型相比，该模型能生成更具多样性与上下文准确性的字幕，例如将人物描述为“一群穿着运动装的人”而非更泛化的“一群棒球运动员”。
• 联合训练与嵌入适配策略有效使翻译模型的输出与字幕风格对齐，减少了领域偏移，提升了流畅性与相关性。