[论文解读] NICE: CVPR 2023 Challenge on Zero-shot Image Captioning

Taehoon Kim, Pyunghwan Ahn+40 more|arXiv (Cornell University)|Sep 5, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

该论文介绍了 NICE，这是 2023 年 CVPR 的一项挑战，专注于零样本图像字幕生成，旨在利用新整理的 26,000 个多样化、高质量的图像-字幕配对数据集，评估视觉-语言模型。表现最佳的方法，包括经过微调的 BLIP-2 和 BEiT3 模型，结合数据增强与一致性正则化，CIDEr 得分超过 325，证明了在无目标领域训练数据的情况下，有效实现领域自适应。

ABSTRACT

In this report, we introduce NICE (New frontiers for zero-shot Image Captioning Evaluation) project and share the results and outcomes of 2023 challenge. This project is designed to challenge the computer vision community to develop robust image captioning models that advance the state-of-the-art both in terms of accuracy and fairness. Through the challenge, the image captioning models were tested using a new evaluation dataset that includes a large variety of visual concepts from many domains. There was no specific training data provided for the challenge, and therefore the challenge entries were required to adapt to new types of image descriptions that had not been seen during training. This report includes information on the newly proposed NICE dataset, evaluation methods, challenge results, and technical details of top-ranking entries. We expect that the outcomes of the challenge will contribute to the improvement of AI models on various vision-language tasks.

研究动机与目标

• 解决缺乏大规模、多样化且高质量的零样本图像字幕基准的问题。
• 挑战视觉-语言模型在不针对目标领域数据进行微调的情况下，泛化到未见视觉概念的能力。
• 在多样化视觉领域和字幕风格之间，评估模型的鲁棒性与公平性。
• 通过系统性评估与模型自适应，推动零样本图像字幕生成技术的最先进水平。
• 提供一个公开基准，以促进领域泛化与视觉-语言对齐方面的研究。

提出的方法

• 引入了包含 26,000 张图像和高质量字幕的 NICE 数据集，涵盖多样化领域与概念。
• 组织了一项挑战，不提供目标领域训练数据，要求模型在零样本条件下泛化到未见的视觉类别。
• 采用多种评估指标，包括 BLEU、ROUGE-L、CIDEr、METEOR 和 SPICE，以评估字幕质量。
• 表现最佳的模型使用 BLIP-2，通过零卷积适配器和层归一化优化实现轻量级微调。
• 采用教师-学生框架的一致性正则化，损失函数结合交叉熵与 KL 散度。
• 通过大语言模型生成的字幕和风格匹配技术进行数据增强，以减少源领域与目标领域之间的分布偏移。

(a) View from sandy beach of picturesque sunset horizon over sea surf lapping on shore

实验结果

研究问题

• RQ1 视觉-语言模型在不进行任何目标领域微调的情况下，对未见视觉概念的泛化能力如何？
• RQ2 哪些技术能够在极少或无目标数据的情况下，实现有效的零样本图像字幕生成领域自适应？
• RQ3 教师-学生模型之间的一致性正则化在提升泛化能力并防止灾难性遗忘方面有何作用？
• RQ4 源数据集与目标数据集之间字幕风格的一致性在多大程度上影响零样本字幕生成性能？
• RQ5 通过适配器和模态特定归一化实现的轻量级微调，是否能提升在多样化、未见视觉领域上的性能？

主要发现

• 排名第一的模型在测试集上取得了 325.72 的 CIDEr 得分，展现出强大的零样本泛化能力。
• 第二名模型的 CIDEr 得分为 324.93，表明顶尖模型之间性能差距极小，反映出极高的模型鲁棒性。
• 采用一致性正则化与适配器微调的模型优于标准微调方法，尤其在减少灾难性遗忘方面表现更优。
• 通过大语言模型生成字幕进行数据增强，提升了性能，尤其在与 NICE 的字幕风格对齐时效果更显著。
• 基于 BEiT3 的方法通过利用风格匹配数据和一种新颖的字幕修正机制，取得了 270.60 的 CIDEr 得分。
• NICE 数据集的多样性与高质量字幕，使得在 26,000 张图像上可靠评估零样本能力成为可能。

(b) 3D concept of online banking on mobile phone showing services currencies and graphs