[论文解读] Zero-shot Image Captioning by Anchor-augmented Vision-Language Space Alignment

Junyang Wang, Yi Zhang+3 more|arXiv (Cornell University)|Nov 14, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了一种锚点增强的视觉-语言空间对齐方法，通过解决基于CLIP模型的零样本图像字幕生成中的上下文语言先验问题，以提升生成质量。该方法引入了跨模态语言模型（CLMs）以实现无监督的跨模态学习，并采用锚点增强机制，利用语言和物体级别的锚点引导细粒度视觉注意力，从而在无需标注数据的情况下，在MS COCO和Flickr 30K数据集上实现了最先进的字幕生成质量与高效的生成速度。

ABSTRACT

CLIP (Contrastive Language-Image Pre-Training) has shown remarkable zero-shot transfer capabilities in cross-modal correlation tasks such as visual classification and image retrieval. However, its performance in cross-modal generation tasks like zero-shot image captioning remains unsatisfied. In this work, we discuss that directly employing CLIP for zero-shot image captioning relies more on the textual modality in context and largely ignores the visual information, which we call \emph{contextual language prior}. To address this, we propose Cross-modal Language Models (CLMs) to facilitate unsupervised cross-modal learning. We further propose Anchor Augment to guide the generative model's attention to the fine-grained information in the representation of CLIP. Experiments on MS COCO and Flickr 30K validate the promising performance of proposed approach in both captioning quality and computational efficiency.

研究动机与目标

• 解决基于CLIP的零样本图像字幕生成中因依赖文本上下文而非视觉输入而导致语言模型生成无关内容的上下文语言先验问题。
• 通过利用CLIP的视觉-语言表征空间，无需人工标注的图像-文本配对数据，实现有效的无监督跨模态学习。
• 通过基于语言和物体级别的线索提供锚点监督，提升生成模型对细粒度视觉细节的关注能力。
• 在相比现有零样本方法具有更优计算效率的前提下，实现高质量且准确的图像字幕生成。

提出的方法

• 通过使用CLIP编码的文本表征作为前缀标记，并将原始句子作为自回归标签，以自回归、自监督的方式训练跨模态语言模型（CLMs）。
• 从训练句子中通过语法解析器提取名词作为锚点，在CLM训练过程中引导生成模型关注相关的视觉概念。
• 引入锚点随机丢弃策略，通过在训练过程中以一定概率随机丢弃样本中的所有锚点，提升模型鲁棒性。
• 推理阶段，使用目标检测器的预测结果（如“婴儿”、“长颈鹿”）作为锚点，将字幕生成过程锚定在图像的实际内容上。
• 生成模型基于CLIP图像特征和物体级别的锚点进行条件生成，实现基于视觉的高质量字幕生成，无需基于查询的注意力机制。
• 训练过程完全无监督，不依赖任何标注的图像-文本配对数据，仅依赖CLIP预训练表征和未配对的文本数据。

实验结果

研究问题

• RQ1 在使用基于CLIP的语言模型进行零样本图像字幕生成时，如何降低上下文语言先验的影响？
• RQ2 能否仅利用CLIP的预训练视觉-语言表征和未配对的文本数据，实现有效的无监督跨模态学习？
• RQ3 如何在不依赖监督视觉标注的前提下，提升生成模型对细粒度视觉细节的关注能力？
• RQ4 基于锚点的监督在多大程度上提升了零样本设置下生成字幕的准确性和相关性？
• RQ5 能否在保持最先进的字幕生成质量的同时，实现高效的生成速度？

主要发现

• 所提方法在MS COCO和Flickr 30K基准上均实现了最先进的字幕生成质量，优于现有零样本基线模型。
• 模型显著减少了字幕中的幻觉或无关内容，例如在图像中未显示草地时，避免因语言先验而生成“草地”等不相关描述。
• 推理阶段使用目标检测器生成的锚点提升了物体识别准确性，例如在其他模型失败的图像中正确识别出“婴儿”。
• 训练过程表明，CLMs初期能提升跨模态迁移能力，但若训练时间过长则会抑制迁移性能，提示需要早停策略。
• 由于采用非查询架构，该方法实现了高效的生成速度，相比之前方法更快，同时保持了高质量输出。
• 该方法揭示了CLIP中的虚假刻板印象，例如通过反事实表征分析概念依赖关系，发现性别相关的服装模式变化。