[论文解读] Similar Scenes arouse Similar Emotions: Parallel Data Augmentation for Stylized Image Captioning

Guodun Li, Yuchen Zhai+2 more|arXiv (Cornell University)|Aug 26, 2021

Multimodal Machine Learning Applications参考文献 46被引用 5

一句话总结

本文提出了一种新颖的提取-检索-生成（ERG）数据增强框架，通过利用跨场景的情感和上下文相似性，解决风格化图像字幕任务中的数据稀缺问题。通过从少量风格化字幕中提取风格短语，从大规模事实性数据中检索语义和视觉上相似的场景，并利用情感感知生成模型生成多样且流畅的风格化字幕，该方法显著提升了字幕的相关性和风格感，在监督和非监督设置下均优于当前最先进模型。

ABSTRACT

Stylized image captioning systems aim to generate a caption not only semantically related to a given image but also consistent with a given style description. One of the biggest challenges with this task is the lack of sufficient paired stylized data. Many studies focus on unsupervised approaches, without considering from the perspective of data augmentation. We begin with the observation that people may recall similar emotions when they are in similar scenes, and often express similar emotions with similar style phrases, which underpins our data augmentation idea. In this paper, we propose a novel Extract-Retrieve-Generate data augmentation framework to extract style phrases from small-scale stylized sentences and graft them to large-scale factual captions. First, we design the emotional signal extractor to extract style phrases from small-scale stylized sentences. Second, we construct the plugable multi-modal scene retriever to retrieve scenes represented with pairs of an image and its stylized caption, which are similar to the query image or caption in the large-scale factual data. In the end, based on the style phrases of similar scenes and the factual description of the current scene, we build the emotion-aware caption generator to generate fluent and diversified stylized captions for the current scene. Extensive experimental results show that our framework can alleviate the data scarcity problem effectively. It also significantly boosts the performance of several existing image captioning models in both supervised and unsupervised settings, which outperforms the state-of-the-art stylized image captioning methods in terms of both sentence relevance and stylishness by a substantial margin.

研究动机与目标

• 为解决风格化图像字幕中数据稀缺的关键挑战，即大规模配对风格化图像-字幕数据集稀少且难以构建。
• 探索数据增强作为非监督学习的正交方法，提升模型性能，而无需完全依赖未配对文本或复杂的风格解耦技术。
• 利用心理学原理——特别是“情境效应”——即相似场景会引发相似情感，从而产生相似的表达性风格短语。
• 开发一种即插即用、模块化的框架，通过最小的架构修改增强现有图像字幕模型。
• 提升生成字幕的句子相关性和风格感，尤其在低资源和非监督设置下。

提出的方法

• 情感信号提取器使用自然语言处理技术，从少量风格化字幕中识别并分离出语言风格短语（例如，'享受大自然的美'）。
• 即插即用的多模态场景检索器利用预训练的视觉-语言Transformer模型，计算跨模态相似性（图像到图像、图像到文本、文本到图像、文本到文本），在大规模事实性图像-字幕数据集中找到语义和视觉上相似的场景。
• 情感感知字幕生成器将查询图像的事实性描述与检索到的相似场景中的风格短语相结合，生成流畅、多样且风格一致的字幕。
• 该框架作为三阶段流水线运行：从少量风格化数据中提取风格短语，利用多模态嵌入检索相似场景，通过条件生成生成新的风格化字幕。
• 该方法灵活且兼容多种预训练模型（例如，GPT-2、T5），即使在未配对的风格化文本与事实性图像-字幕对下也能正常运行。
• 该方法对检索和生成中的噪声具有鲁棒性，如定性示例所示，生成器能够纠正检索到的风格短语中的微小错误。

实验结果

研究问题

• RQ1 能否利用跨场景的情感和上下文相似性，在无需大规模配对数据的情况下生成高质量、多样化的风格化字幕？
• RQ2 基于视觉和文本嵌入的多模态检索系统在不同数据集中识别语义相似场景的能力有多强？
• RQ3 将来自相似场景的风格短语整合到生成字幕中，如何提升其相关性和风格感？
• RQ4 所提出的框架是否能在监督和非监督设置下均提升性能，尤其是在与当前最先进预训练模型结合时？
• RQ5 该框架是否对噪声或不完美的检索结果具有鲁棒性，并能生成语法正确、语境恰当的字幕？

主要发现

• ERG框架显著缓解了风格化图像字幕任务中的数据稀缺问题，在多个基准测试中均提升了性能。
• 该方法在CIDEr（最高达45.97）和风格感（cls）得分上均优于当前最先进非监督和监督风格化字幕模型。
• 结合i2i、i2t、t2i和t2t检索方法的组合，性能优于任一单一检索类型，显著增加了有用增强样本的数量。
• 该框架对超参数选择（如增强数据比例）具有鲁棒性，性能在合理范围内（例如0.05至0.5）保持稳定。
• GPT-2和T5-based生成器均表现出色，证实了该框架对多种预训练架构的灵活性和兼容性。
• 即使在未配对的风格化文本与事实性图像-字幕数据下，该框架仍能有效运行，证明其在真实低资源场景下的实用性。