[论文解读] Semantic-Conditional Diffusion Networks for Image Captioning

Jianjie Luo, Yehao Li+5 more|arXiv (Cornell University)|Dec 6, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出语义条件扩散网络（SCD-Net），一种非自回归图像字幕生成框架，通过在级联Transformer架构中利用跨模态检索提取的语义先验来引导扩散过程。通过整合引导式自回归序列训练（GSCST），SCD-Net在COCO数据集上达到最先进性能，CIDEr得分高达131.7。

ABSTRACT

Recent advances on text-to-image generation have witnessed the rise of diffusion models which act as powerful generative models. Nevertheless, it is not trivial to exploit such latent variable models to capture the dependency among discrete words and meanwhile pursue complex visual-language alignment in image captioning. In this paper, we break the deeply rooted conventions in learning Transformer-based encoder-decoder, and propose a new diffusion model based paradigm tailored for image captioning, namely Semantic-Conditional Diffusion Networks (SCD-Net). Technically, for each input image, we first search the semantically relevant sentences via cross-modal retrieval model to convey the comprehensive semantic information. The rich semantics are further regarded as semantic prior to trigger the learning of Diffusion Transformer, which produces the output sentence in a diffusion process. In SCD-Net, multiple Diffusion Transformer structures are stacked to progressively strengthen the output sentence with better visional-language alignment and linguistical coherence in a cascaded manner. Furthermore, to stabilize the diffusion process, a new self-critical sequence training strategy is designed to guide the learning of SCD-Net with the knowledge of a standard autoregressive Transformer model. Extensive experiments on COCO dataset demonstrate the promising potential of using diffusion models in the challenging image captioning task. Source code is available at \url{https://github.com/YehLi/xmodaler/tree/master/configs/image_caption/scdnet}.

研究动机与目标

• 解决自回归与非自回归图像字幕模型的局限性，特别是词汇重复与遗漏问题。
• 克服因生成句子质量较低而难以将自回归序列训练（SCST）应用于非自回归模型的困难。
• 通过引入跨模态检索提取的语义先验，提升基于扩散模型的图像字幕生成中视觉-语言对齐性与语言连贯性。
• 开发一种可扩展的非自回归范式，利用扩散模型的并行生成能力，同时保持高质量输出。

提出的方法

• 使用跨模态检索模型从大规模字幕语料库中为每张输入图像提取语义相关词汇，作为语义先验。
• 将这些语义先验整合到连续扩散过程中，以条件化扩散Transformer的反向去噪步骤。
• 以级联方式堆叠多个扩散Transformer，逐步提升生成句子的视觉-语言对齐性。
• 设计一种引导式自回归序列训练（GSCST）策略，通过句子级奖励从预训练的自回归Transformer教师模型中迁移知识。
• 端到端训练扩散模型，结合交叉熵损失与基于GSCST的强化学习，以稳定训练过程并提升语言流畅性。
• 采用基于马尔可夫链的去噪过程，使每个反向步骤从噪声中生成更连贯且语义对齐的句子。

实验结果

研究问题

• RQ1 基于扩散的非自回归框架是否能在避免自回归模型缺点的同时，实现具有竞争力的图像字幕性能？
• RQ2 来自跨模态检索的语义先验如何改善基于扩散模型的字幕生成中的视觉-语言对齐性？
• RQ3 引导式自回归序列训练能否有效适配于非自回归扩散模型，以提升句子流畅性并减少重复？
• RQ4 级联多个基于扩散的解码器是否能提升生成字幕的质量与连贯性？
• RQ5 在相同编码器-解码器架构下，扩散模型是否能超越标准自回归Transformer在图像字幕任务中的表现？

主要发现

• SCD-Net在COCO Karpathy测试集上取得131.7的CIDEr得分，优于基础扩散模型（114.5）与最强的非自回归基线模型。
• 引入语义先验（Semantic）后，性能相较基础扩散模型显著提升，CIDEr从114.5提升至120.8。
• 引导式自回归序列训练（GSCST）显著提升性能，使CIDEr从120.8提升至131.7，并在B@4、M、R、S等所有指标上实现改进。
• 级联两个扩散Transformer可获得最佳性能（CIDEr: 131.6），当增至三个时性能提升微弱，表明超过两阶段后收益递减。
• 每个扩散Transformer使用三个Transformer模块时性能最优，更深模型（五个或以上模块）因过拟合或上下文建模噪声导致性能轻微下降。
• SCD-Net在相同Transformer编码器-解码器结构下，优于竞争性自回归模型，证明了扩散模型在图像字幕任务中的潜力。