[论文解读] Understanding Image Captioning Models beyond Visualizing Attention

Jiamei Sun, Sebastian Lapuschkin+2 more|arXiv (Cornell University)|Jan 4, 2020

Multimodal Machine Learning Applications参考文献 100被引用 8

一句话总结

本文提出并评估了针对带有注意力机制的图像字幕模型的先进解释方法——改进的LRP与基于梯度的技术，证明这些方法相较于仅使用注意力热图，能提供更精确、双层次（视觉与语言）的解释。该方法揭示了模型决策的依据，通过LRP推理微调减少了幻觉现象，同时保持了生成字幕的流畅性。

ABSTRACT

This paper interprets the predictions of image captioning models with attention mechanisms beyond visualizing the attention itself. In this paper, we develop variants of layer-wise relevance propagation (LRP) and gradient-based explanation methods, tailored to image captioning models with attention mechanisms. We compare the interpretability of attention heatmaps systematically against the explanations computed with explanation methods such as LRP, Grad-CAM, and Guided Grad-CAM. We show that explanation methods provide simultaneously pixel-wise image explanation (supporting and opposing pixels of the input image) and linguistic explanation (supporting and opposing words of the preceding sequence) for each word in the predicted captions. We demonstrate with extensive experiments that explanation methods can 1) reveal more related evidence used by the model to make decisions than attention; 2) correlate to object locations with high precision; 3) is helpful to `debug' the model such as analyzing the reasons for hallucinated object words. With the observed properties of explanations, we further design an LRP-inference fine-tuning strategy that can alleviate the object hallucination of image captioning models, meanwhile, maintain the sentence fluency. We conduct experiments with two widely used attention mechanisms: the adaptive attention mechanism calculated with the additive attention and the multi-head attention calculated with the scaled dot product.

研究动机与目标

• 开发超越视觉注意力热图的解释方法，用于图像字幕模型。
• 提供双层次解释——像素级与词级——为每个预测字幕词提供支持与反对的证据。
• 诊断并缓解模型幻觉，特别是针对无关或错误的对象词。
• 设计一种基于LRP推理的微调策略，以减少幻觉，同时保持生成字幕的流畅性。
• 在两种标准注意力机制（加性注意力与多头注意力）上评估解释方法的有效性。

提出的方法

• 将逐层相关性传播（LRP）方法适配至带有注意力机制的图像字幕模型，为输入像素与隐藏状态分配相关性分数。
• 引入基于梯度的解释方法，如Grad-CAM、Guided Grad-CAM及其变体，专为自回归字幕生成设置而设计。
• 为预测字幕序列中的每个词计算相关性分数，将其与输入图像的像素以及字幕中的前序词关联起来。
• 利用生成的解释，识别每个预测词所对应的视觉与语言层面的支持性与反对性证据。
• 设计一种基于LRP推理的微调策略，根据相关性分数调整模型参数，以减少幻觉性对象预测。
• 在采用加性注意力与多头缩放点积注意力的模型上应用并比较上述方法。

实验结果

研究问题

• RQ1 LRP与基于梯度的解释方法是否能比注意力热图揭示更准确、更全面的证据？
• RQ2 这些解释方法与图像中真实对象位置的相关性如何？
• RQ3 解释方法在多大程度上有助于诊断与理解生成字幕中的模型幻觉？
• RQ4 基于LRP推理的微调策略是否能有效减少幻觉性对象词，同时不损害字幕的流畅性？
• RQ5 在加性注意力与多头注意力机制之间，解释方法的可解释性特性有何差异？

主要发现

• LRP与基于梯度的解释方法相较于注意力热图，能提供更精确、更全面的证据，揭示支持性与反对性的像素与词。
• 这些解释方法与真实对象位置具有高度相关性，在定位准确性方面优于注意力机制。
• 方法能有效揭示幻觉性对象词的根源，支持针对性的模型调试。
• 所提出的LRP推理微调策略成功减少了图像字幕模型中的幻觉现象，同时保持了生成字幕的高流畅性。
• 解释方法在加性注意力与多头注意力机制中均表现有效，展现出对模型架构差异的鲁棒性。
• 双层次（视觉与语言）解释使模型推理过程获得更深层次的理解，尤其在复杂或错误预测中表现突出。