[论文解读] Style-Aware Contrastive Learning for Multi-Style Image Captioning

Yucheng Zhou, Guodong Long|arXiv (Cornell University)|Jan 26, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出风格感知对比学习（SACO）用于多风格图像字幕生成，通过引入风格感知视觉编码器与对比学习，挖掘与语言风格相关的视觉特征，并设计风格感知三元组对比损失，确保图像、风格与字幕之间的一致性。该方法通过动态检索策略与损失权衡函数实现难负样本挖掘，在三个基准数据集上实现了最先进性能。

ABSTRACT

Existing multi-style image captioning methods show promising results in generating a caption with accurate visual content and desired linguistic style. However, existing methods overlook the relationship between linguistic style and visual content. To overcome this drawback, we propose style-aware contrastive learning for multi-style image captioning. First, we present a style-aware visual encoder with contrastive learning to mine potential visual content relevant to style. Moreover, we propose a style-aware triplet contrast objective to distinguish whether the image, style and caption matched. To provide positive and negative samples for contrastive learning, we present three retrieval schemes: object-based retrieval, RoI-based retrieval and triplet-based retrieval, and design a dynamic trade-off function to calculate retrieval scores. Experimental results demonstrate that our approach achieves state-of-the-art performance. In addition, we conduct an extensive analysis to verify the effectiveness of our method.

研究动机与目标

• 为解决现有多风格字幕模型忽视语言风格与视觉内容之间关系的问题。
• 通过学习提取与特定语言风格相关的视觉特征，提升字幕质量。
• 通过建模三元组级别的一致性，确保图像、风格与字幕之间的正确匹配。
• 通过基于检索的策略实现有效正负样本挖掘，增强对比学习效果。

提出的方法

• 提出一种风格感知视觉编码器，利用对比学习学习在给定语言风格条件下的视觉表征。
• 引入风格感知三元组对比损失，用于判断图像、风格与字幕是否构成正样本三元组。
• 设计三种检索策略——基于物体、基于RoI和基于三元组的策略，用于为对比学习生成正负样本。
• 采用动态权衡函数，通过平衡物体重叠度、视觉特征相似度与三元组特征相似度，计算检索得分。
• 在字幕生成过程中使用束搜索（beam search），同时依赖对比学习目标引导风格感知视觉表征学习。
• 应用对比学习对齐视觉特征与语言风格，提升多风格字幕生成中的跨模态对齐能力。

实验结果

研究问题

• RQ1 如何在多风格图像字幕生成中有效对齐视觉内容与语言风格？
• RQ2 何种检索策略最能支持对比学习，以挖掘不同风格下的相关视觉特征？
• RQ3 检索策略之间的动态权衡函数如何影响模型性能？
• RQ4 风格感知三元组对比损失在多大程度上提升了模型验证图像-风格-字幕匹配能力？
• RQ5 所提方法是否能生成比现有基线更吸引人且上下文准确的字幕？

主要发现

• 所提方法在三个多风格图像字幕基准数据集（SentiCap、FlickrStyle10K 和 PERSONALITY-CAPTIONS）上达到最先进性能。
• 人工评估显示，62.9% 的标注者更偏好 SACO 生成的字幕在吸引力方面，而 GPT-Speaker 仅获 37.1% 的偏好。
• 模型在视觉相关性（64.9% 胜率）与个性化相关性（63.4% 胜率）方面均优于强基线模型。
• 消融实验表明，动态权衡函数与基于三元组的检索策略显著提升性能，ω = 0.8 时达到最优结果。
• 可解释性可视化结果表明，模型关注与风格相关的图像区域，例如‘高兴’风格下关注眼睛与毛发，‘恐惧’风格下关注牙齿与爪子。
• 模型对难负样本具有鲁棒性，性能在 ω = 0.8 时达到峰值，当负样本过于困难时性能开始下降。