[论文解读] Universal Captioner: Long-Tail Vision-and-Language Model Training through Content-Style Separation

Marcella Cornia, Lorenzo Baraldi+2 more|arXiv (Cornell University)|Nov 24, 2021

Multimodal Machine Learning Applications参考文献 64被引用 9

一句话总结

该论文提出Universal Captioner，一种视觉-语言模型，通过使用关键词和风格标记将内容与风格分离，从而在噪声较大的网络规模数据上进行训练，同时保持COCO等人工标注数据集的描述质量。通过采用统一的提示语言建模范式，该模型在COCO和NoCaps上均达到最先进性能，尤其在长尾概念覆盖和零样本设置下表现优异。

ABSTRACT

While captioning models have obtained compelling results in describing natural images, they still do not cover the entire long-tail distribution of real-world concepts. In this paper, we address the task of generating human-like descriptions with in-the-wild concepts by training on web-scale automatically collected datasets. To this end, we propose a model which can exploit noisy image-caption pairs while maintaining the descriptive style of traditional human-annotated datasets like COCO. Our model separates content from style through the usage of keywords and stylistic tokens, employing a single objective of prompt language modeling and being simpler than other recent proposals. Experimentally, our model consistently outperforms existing methods in terms of caption quality and capability of describing long-tail concepts, also in zero-shot settings. According to the CIDEr metric, we obtain a new state of the art on both COCO and nocaps when using external data.

研究动机与目标

• 解决现有图像描述模型在描述长尾现实世界概念方面的局限性。
• 实现在噪声较大的网络规模图像-描述对上进行有效训练，而无需完全依赖高质量人工标注数据。
• 保持在COCO等数据集上微调后的模型所具备的自然、类人描述风格。
• 提升对罕见和分布外概念的零样本泛化能力。
• 开发一种更简单、统一的训练目标，有效结合内容与风格建模。

提出的方法

• 模型采用内容感知的标记化方案，将视觉概念（关键词）与风格元素（风格标记）分离。
• 采用单一提示语言建模范式，在统一框架中联合优化内容与风格。
• 风格标记在训练过程中学习，以保持人工标注描述的流畅性与自然性。
• 模型在大规模自动收集的网络数据上进行训练，同时通过COCO中的风格分布进行正则化。
• 通过网络架构设计实现内容与风格的解耦，使模型能够泛化到未见概念。
• 该方法避免了复杂的多阶段训练或独立的风格迁移模块，简化了训练流程。

实验结果

研究问题

• RQ1 统一的视觉-语言模型能否在保留人工标注数据集风格质量的同时，有效学习来自噪声较大的网络规模数据？
• RQ2 该模型在长尾和分布外视觉概念上的泛化能力如何？
• RQ3 内容-风格解耦是否能提升罕见概念上的零样本图像描述性能？
• RQ4 单一统一目标能否在此设置下超越多目标或多阶段训练方法？
• RQ5 当在噪声数据上训练时，模型在多大程度上保持了人工撰写描述的流畅性与自然性？

主要发现

• 该模型在使用外部数据的COCO基准上达到新的最先进水平，CIDEr得分显著提升。
• 与先前方法相比，该模型在描述质量与长尾概念覆盖方面均表现出一致的提升。
• 在零样本设置下表现强劲，无需微调即可有效泛化到未见概念。
• 内容-风格分离使模型在从噪声数据中学习多样化真实世界概念的同时，仍能保持高流畅性。
• 统一的提示语言建模范式简化了训练流程，同时在多种评估设置下保持了高性能。
• 该方法在NoCaps基准上优于现有方法，证实了其在开放词汇图像描述中的有效性。