[论文解读] SemStyle: Learning to Generate Stylised Image Captions using Unaligned Text

A. P. Mathews, Lexing Xie+1 more|arXiv (Cornell University)|May 18, 2018

Multimodal Machine Learning Applications参考文献 48被引用 19

一句话总结

SemStyle 提出了一种新颖的框架，通过将语义内容与语言风格分离，利用未对齐的文本生成视觉相关、风格多样的图像字幕。它采用框架语义术语表征和统一的语言生成器，生成描述性强、风格可变的字幕，在人类评估中实现了 58.8% 的风格差异度和 41.9% 的故事类字幕，同时保持了较强的语义保留能力（SPICE 0.144）。

ABSTRACT

Linguistic style is an essential part of written communication, with the power to affect both clarity and attractiveness. With recent advances in vision and language, we can start to tackle the problem of generating image captions that are both visually grounded and appropriately styled. Existing approaches either require styled training captions aligned to images or generate captions with low relevance. We develop a model that learns to generate visually relevant styled captions from a large corpus of styled text without aligned images. The core idea of this model, called SemStyle, is to separate semantics and style. One key component is a novel and concise semantic term representation generated using natural language processing techniques and frame semantics. In addition, we develop a unified language model that decodes sentences with diverse word choices and syntax for different styles. Evaluations, both automatic and manual, show captions from SemStyle preserve image semantics, are descriptive, and are style shifted. More broadly, this work provides possibilities to learn richer image descriptions from the plethora of linguistic data available on the web.

研究动机与目标

• 在不依赖图像-字幕配对数据集的前提下，生成与视觉相关、风格多样的图像字幕。
• 在图像字幕生成中有效分离语义内容与语言风格，以提升灵活性与控制力。
• 利用大规模未对齐的风格化文本（如言情小说）学习多样化的写作风格，而无需图像对齐。
• 在保持高语义相关性的同时，支持第一人称、正式或叙事性等风格的可变性。
• 开发一种统一的训练策略，结合描述性语料和风格化语料，以提升字幕质量和风格保真度。

提出的方法

• 提出一种新颖的语义术语表征方法，使用词形还原后的词并附加词性（POS）标签，同时通过 FrameNet 将动词泛化，以实现内容与风格的解耦。
• 采用基于神经网络的术语生成器，通过图像-字幕配对数据进行训练，从图像中提取一组简洁的语义术语。
• 使用受目标风格条件控制的统一语言生成器，将语义术语解码为流畅且风格多样的句子。
• 在描述性语料（MSCOCO）和风格化语料（言情小说）上联合训练语言生成器，以学习风格迁移而无需图像配对。
• 通过在多个数据集上联合训练，确保推理时可访问所有来源的语义术语，从而提升相关性。
• 使用风格分类器（CLF）和自动化指标（LM、GRULM）在训练和评估过程中评估风格保真度与内容相关性。

实验结果

研究问题

• RQ1 模型是否能仅使用未对齐的风格化文本和图像数据，生成风格多样的视觉相关字幕？
• RQ2 在图像字幕生成中，如何有效实现语义内容与语言风格的解耦，以支持灵活的风格迁移？
• RQ3 语言生成器在无图像-字幕配对标注的情况下，能在多大程度上学习生成叙事性、第一人称或正式风格的文本？
• RQ4 与端到端模型相比，将语义术语生成与风格解码分离，是否能同时提升语义相关性与风格多样性？
• RQ5 在描述性语料和风格化语料上联合训练，是否能提升字幕的相关性，同时保持风格保真度？

主要发现

• SemStyle 在人类评估中实现了 58.8% 的风格差异度，表明其在多种风格下具有强大的风格控制能力。
• 该模型生成的字幕中有 41.9% 被评为故事类，显著优于基线模型如 CNN+RNN-coco（6.2%）和 neural-storyteller（52.6% 但有 44.2% 的字幕无关）。
• SemStyle 保持了较高的语义相关性，SPICE 得分为 0.144，与描述性基线模型相当（SPICE 0.144），显著优于 TermRetrieval（SPICE 0.134）和 neural-storyteller（SPICE 0.120）。
• 当语义术语随机排序时，模型性能下降（SPICE 0.134），或移除 FrameNet/POS/词形还原时，性能也下降，证明这些组件在实现风格与内容解耦中的关键作用。
• 在 MSCOCO 和言情小说语料上联合训练，相比仅在言情小说语料上训练（SPICE 0.138），显著提升了相关性（SPICE 0.144），证明了联合数据利用的优势。
• 自动化风格指标（CLF、LM、GRULM）与人类判断之间的 Kendall’s τ 相关系数为 0.434（CLF），表明其与人类对风格的感知具有中等至较强的对齐度。