[论文解读] Senti-Attend: Image Captioning using Sentiment and Attention

Omid Mohamad Nezami, Mark Dras+2 more|arXiv (Cornell University)|Nov 24, 2018

Multimodal Machine Learning Applications参考文献 31被引用 10

一句话总结

Senti-Attend 是一种基于注意力机制的图像字幕生成模型，通过整合高层级情感嵌入和词级情感嵌入，生成事实准确且具有情感意识的字幕。通过学习实值情感表征而非依赖独热向量，该模型提升了语义对齐效果，生成更恰当的情感修饰形容词及形容词-名词搭配，在标准评估指标上优于当前最先进方法。

ABSTRACT

There has been much recent work on image captioning models that describe the factual aspects of an image. Recently, some models have incorporated non-factual aspects into the captions, such as sentiment or style. However, such models typically have difficulty in balancing the semantic aspects of the image and the non-factual dimensions of the caption; in addition, it can be observed that humans may focus on different aspects of an image depending on the chosen sentiment or style of the caption. To address this, we design an attention-based model to better add sentiment to image captions. The model embeds and learns sentiment with respect to image-caption data, and uses both high-level and word-level sentiment information during the learning process. The model outperforms the state-of-the-art work in image captioning with sentiment using standard evaluation metrics. An analysis of generated captions also shows that our model does this by a better selection of the sentiment-bearing adjectives and adjective-noun pairs.

研究动机与目标

• 解决图像字幕生成中平衡事实性图像内容与主观情感表达的挑战。
• 通过用可学习的实值情感嵌入替代独热情感向量，提升图像字幕生成中的情感控制能力。
• 整合高层级与词级情感信息，更有效地引导字幕生成。
• 在生成过程中保持图像内容与情感增强字幕之间的语义一致性。
• 在生成高质量、情感感知型图像字幕方面，超越现有最先进模型。

提出的方法

• 该模型使用卷积神经网络提取视觉特征，并通过在空间特征上引入注意力机制的长短期记忆网络解码器生成字幕。
• 提出两种情感嵌入机制：一种是基于整体字幕情感的高层级情感嵌入，另一种是与特定词汇项关联的词级情感嵌入。
• 高层级情感嵌入在每个解码步骤输入到LSTM中，以控制字幕的整体情感倾向。
• 词级情感嵌入用于影响单个词语的预测，尤其针对形容词及名词-形容词搭配。
• 情感嵌入在训练过程中端到端学习，使模型能够基于图像内容自动发现情感应被应用的位置与方式。
• 模型使用交叉熵损失函数，以真实字幕作为监督信号进行训练，并通过BLEU、ROUGE和CIDEr等标准指标进行评估。

实验结果

研究问题

• RQ1 基于注意力机制的模型能否在保持事实准确性的同时，有效生成具有情感意识的字幕？
• RQ2 与独热编码相比，使用实值情感嵌入是否能显著提升情感控制能力？
• RQ3 高层级与词级情感表征是否能够互补，生成更自然且语境恰当的情感增强字幕？
• RQ4 该模型在选择与图像内容和目标情感一致的情感修饰形容词及形容词-名词搭配方面表现如何？
• RQ5 该模型在生成情感增强型图像字幕方面，相较于现有最先进方法，优势有多大？

主要发现

• Senti-Attend 在所有标准评估指标（包括BLEU、ROUGE和CIDEr）上均优于当前最先进图像字幕生成方法，且具备情感感知能力。
• 该模型根据图像内容生成更语义恰当的情感修饰形容词及形容词-名词搭配，例如对正向情感使用 'beautiful'，对负向情感使用 'ugly'。
• 与独热情感表示相比，实值情感嵌入显著提升了字幕质量，后者会强制应用情感而忽略语义匹配。
• 定性分析表明，Senti-Attend 能够在不同图像上成功操控情感，为正向与负向情感生成一致且语境相关的字幕。
• 该模型在生成多样化情感表达的字幕方面表现出强鲁棒性，即使在负向描述本应为正向场景的复杂情况下亦表现良好。
• 尽管存在部分字幕生成错误，Senti-Attend 仍保持了图像内容与情感之间的强对齐，其在事实准确性和情感准确性方面均优于基线模型Attend。