[论文解读] WisdoM: Improving Multimodal Sentiment Analysis by Fusing Contextual World Knowledge

Wenbin Wang, Liang Ding+4 more|arXiv (Cornell University)|Jan 12, 2024

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

WisdoM 提出了一种即插即用的框架，通过融合从大规模视觉语言模型（LVLMs）中提取的上下文世界知识，增强多模态情感分析。它通过提示模板和无需训练的上下文融合机制生成相关上下文，在 SOTA 方法基础上实现了平均 +1.89 的 F1 提升，硬样本上的提升最高达 +5.8 F1。

ABSTRACT

Sentiment analysis is rapidly advancing by utilizing various data modalities (e.g., text, image). However, most previous works relied on superficial information, neglecting the incorporation of contextual world knowledge (e.g., background information derived from but beyond the given image and text pairs) and thereby restricting their ability to achieve better multimodal sentiment analysis (MSA). In this paper, we proposed a plug-in framework named WisdoM, to leverage the contextual world knowledge induced from the large vision-language models (LVLMs) for enhanced MSA. WisdoM utilizes LVLMs to comprehensively analyze both images and corresponding texts, simultaneously generating pertinent context. To reduce the noise in the context, we also introduce a training-free contextual fusion mechanism. Experiments across diverse granularities of MSA tasks consistently demonstrate that our approach has substantial improvements (brings an average +1.96% F1 score among five advanced methods) over several state-of-the-art methods.

研究动机与目标

• 解决现有多模态情感分析（MSA）模型在仅依赖原始图像-文本对时缺乏上下文世界知识的局限性。
• 探究整合外部背景知识（尤其是历史或文化语境）是否能提升情感预测的准确性。
• 开发一种可扩展、与模型无关的框架，增强 SOTA MSA 模型而无需重新训练。
• 减轻生成的上下文知识中的噪声，确保其与输入模态的可靠融合。
• 在多个基准和模型架构上展示一致的性能提升。

提出的方法

• 使用 ChatGPT 生成提示模板，引导 LVLM 从图像-文本对中生成具有上下文相关性的世界知识。
• 利用大规模视觉语言模型（LVLM）基于输入图像和句子生成上下文世界知识（称为“上下文”）。
• 提出一种无需训练的上下文融合机制，选择性地将上下文整合到 MSA 模型中，降低噪声影响。
• 将该框架作为即插即用模块应用于现有 MSA 模型，实现对不同架构（如 LLaVA、AoM、mPLUG-Owl2）的通用增强。
• 采用逐句上下文注入方法，分析单个上下文句子的贡献，验证历史和事件相关上下文的重要性。
• 可视化硬样本上的错误率（低置信度，δ ≤ 0.3），以评估上下文融合机制在减少误预测方面的有效性。

实验结果

研究问题

• RQ1 哪些类型的世界知识（如历史、政治、文化）最有利于提升多模态情感分析性能？
• RQ2 包含上下文世界知识后，情感预测性能如何变化，尤其是在模糊或硬样本上？
• RQ3 上下文融合机制在多大程度上减少了生成上下文中的噪声，并提升了在困难预测上的鲁棒性？
• RQ4 WisdoM 的性能提升是否随 LVLM 大小和训练数据量的增加而扩展？
• RQ5 该框架是否可普遍应用于各种 SOTA MSA 模型而无需重新训练？

主要发现

• WisdoM 在五种先进 MSA 方法上实现了平均 +1.89 的 F1 提升，硬样本上的提升最高达 +5.8 F1。
• 整合历史语境显著提升了预测效果——例如，通过将 'Aleppo' 与叙利亚战争关联，正确识别出负面情感，而基线模型则遗漏了这一点。
• 与 AoM 和 LLaVA-v1.5 等基线模型相比，上下文融合机制在硬样本（δ ≤ 0.3）上显著降低了错误率，展现出更强的鲁棒性。
• 性能随更大的 LVLM 而提升，即使在仅使用 25% 训练数据时仍表现出显著增益，表明其具有强大的泛化能力和可扩展性。
• 历史和政治类世界知识在各数据集上持续带来最高提升，优于艺术或文学类语境。
• 逐句上下文注入结果表明，添加事件后果后，负面情感概率显著提升 18%，证实了上下文深度的价值。