[论文解读] Towards Multi-Modal Sarcasm Detection via Hierarchical Congruity Modeling with Knowledge Enhancement

Hui Liu, Wenya Wang+1 more|arXiv (Cornell University)|Oct 7, 2022

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

该论文提出了一种分层多模态反讽检测框架，通过多头交叉注意力和图神经网络，同时建模原子级别的一致性（标记-图像块对齐）与组合级别的一致性（短语-对象关系对齐）。通过整合外部知识，特别是利用 CLIP 和 GPT-2 生成的图像字幕，进一步提升了性能，在公开的基于 Twitter 的反讽检测基准上取得了最先进结果。

ABSTRACT

Sarcasm is a linguistic phenomenon indicating a discrepancy between literal meanings and implied intentions. Due to its sophisticated nature, it is usually challenging to be detected from the text itself. As a result, multi-modal sarcasm detection has received more attention in both academia and industries. However, most existing techniques only modeled the atomic-level inconsistencies between the text input and its accompanying image, ignoring more complex compositions for both modalities. Moreover, they neglected the rich information contained in external knowledge, e.g., image captions. In this paper, we propose a novel hierarchical framework for sarcasm detection by exploring both the atomic-level congruity based on multi-head cross attention mechanism and the composition-level congruity based on graph neural networks, where a post with low congruity can be identified as sarcasm. In addition, we exploit the effect of various knowledge resources for sarcasm detection. Evaluation results on a public multi-modal sarcasm detection dataset based on Twitter demonstrate the superiority of our proposed model.

研究动机与目标

• 解决现有多模态反讽检测方法仅关注原子级别标记-区块对齐、而忽略组合语义不一致性的局限性。
• 通过基于图的文本和视觉模态结构，同时建模原子级别与组合级别的语义一致性，以提升反讽检测性能。
• 探究外部知识（尤其是图像字幕）在增强反讽检测中的有效性，超越原始图像与文本输入的限制。
• 开发一个统一框架，联合利用多粒度一致性与知识增强表征，实现更鲁棒的反讽识别。

提出的方法

• 使用多头交叉注意力计算单个文本标记与图像块之间的相似度得分，以建模原子级别的一致性。
• 构建文本依存图与视觉空间关系图，以捕捉两种模态中的组合语义。
• 应用图注意力网络（GAT）学习组合级别上下文表征，实现对短语-对象关系的建模。
• 通过使用 CLIP 和 GPT-2 生成图像描述字幕，将外部知识整合进来，作为一致性建模的辅助信号。
• 将原子级别与组合级别的一致性特征拼接，形成统一表征用于反讽分类。
• 采用分层架构，通过更高层级的基于图的推理对低层级一致性进行优化，以检测复杂的语义不一致。

实验结果

研究问题

• RQ1 同时建模原子级别与组合级别的一致性，是否能超越单一粒度方法，提升多模态反讽检测性能？
• RQ2 当视觉与文本输入语义不一致时，外部知识（尤其是图像字幕）在增强反讽检测方面的有效性如何？
• RQ3 整合预训练视觉-语言模型（如 CLIP）与语言模型（如 GPT-2）是否能提升反讽检测的可解释性与鲁棒性？
• RQ4 基于图的语义与空间依赖关系建模，在增强复杂反讽模式检测方面的作用有多大？

主要发现

• 所提出的模型在公开的基于 Twitter 的多模态反讽检测数据集上取得了最先进性能，优于现有方法。
• 通过 CLIP 和 GPT-2 生成的图像字幕的整合，显著提升了检测准确率，尤其在细微或隐喻性反讽场景中表现突出。
• 一致性得分的可视化结果表明，组合级别模块能有效降低不匹配区域（如风暴图像中的家具）的注意力权重，使检测效果超越原子级别注意力。
• 分层建模方法成功识别出短语与一组图像块之间存在的复杂不一致，而单粒度模型则容易遗漏此类情况。
• 得益于知识增强表征，该模型在图像包含模糊或低层次视觉线索时，仍能保持对反讽的鲁棒检测能力。
• 消融实验表明，通过图像字幕进行知识增强能持续提升性能，尤其在视觉特征单独不足以判断的情况下优势明显。