[论文解读] Top-down Visual Saliency Guided by Captions

Vasili Ramanishka, Abir Das+2 more|arXiv (Cornell University)|Dec 21, 2016

Multimodal Machine Learning Applications参考文献 31被引用 6

一句话总结

本文提出了一种名为Caption-Guided Visual Saliency的方法，该方法无需修改架构或依赖像素级标注，即可从预训练的图像和视频字幕模型中提取空间和时空显著性图。通过区域替换估算信息增益，该方法揭示了视觉特征如何映射到字幕中的词语，其字幕生成性能与当前最先进模型相当，同时显著性热图的准确性优于显式注意力机制。

ABSTRACT

Neural image/video captioning models can generate accurate descriptions, but their internal process of mapping regions to words is a black box and therefore difficult to explain. Top-down neural saliency methods can find important regions given a high-level semantic task such as object classification, but cannot use a natural language sentence as the top-down input for the task. In this paper, we propose Caption-Guided Visual Saliency to expose the region-to-word mapping in modern encoder-decoder networks and demonstrate that it is learned implicitly from caption training data, without any pixel-level annotations. Our approach can produce spatial or spatiotemporal heatmaps for both predicted captions, and for arbitrary query sentences. It recovers saliency without the overhead of introducing explicit attention layers, and can be used to analyze a variety of existing model architectures and improve their design. Evaluation on large-scale video and image datasets demonstrates that our approach achieves comparable captioning performance with existing methods while providing more accurate saliency heatmaps. Our code is available at visionlearninggroup.github.io/caption-guided-saliency/.

研究动机与目标

• 揭示端到端图像和视频字幕模型中隐含的区域到词语的映射关系，这些模型原本被视为黑箱。
• 实现由自然语言句子引导的自顶向下视觉搜索，突破固定物体标签的限制。
• 通过可视化图像或视频中对生成特定词语贡献最大的区域，实现字幕模型的可解释性。
• 在不增加显式注意力层或无需像素级监督的情况下，实现精确的显著性定位。
• 评估仅通过弱监督（图像级或视频级字幕）进行训练的模型，是否能隐式地在空间和时间上学习到语义概念的定位。

提出的方法

• 该方法通过测量信息增益来计算显著性：将每个空间区域或时间帧替换为一个代表性块，观察词语生成概率的变化。
• 对于字幕中的每个词语，显著性通过在掩码特定区域或帧时，该词语生成概率的对数似然差值来计算。
• 该方法应用于编码器-解码器字幕模型，以基于LSTM的S2VT架构作为视频任务的基础模型，并为图像任务采用类似设置。
• 显著性图对预测字幕和任意查询句子均生成，从而实现对多样化输入下模型行为的分析。
• 该方法采用适配于LSTM模型的信号dropout技术，以信息增益作为特征重要性的代理指标。
• 对每个名词短语进行归一化处理，生成彩色编码的显著性热图，红色表示最高显著性，蓝色表示最低显著性。

实验结果

研究问题

• RQ1 端到端视觉字幕模型是否能在无显式监督或注意力层的情况下，隐式学习到与字幕中词语相对应的视觉概念定位？
• RQ2 从字幕模型生成的显著性图在多大程度上能准确地定位生成句子中特定词语所对应的视觉区域？
• RQ3 与具有显式软注意力机制的模型相比，具备隐式显著性的字幕模型在字幕质量与定位准确性方面表现如何？
• RQ4 所提出的方法是否能有效解释图像和视频数据上的模型行为，包括动作和物体的时间定位？
• RQ5 模型的显著性预测是否与人类标注的物体和动作定位真实值一致，尤其是在非中心或模糊物体上？

主要发现

• 所提出的Caption-Guided Visual Saliency方法在字幕生成性能上与当前最先进模型相当，在MSVD数据集上获得31.0的METEOR分数，在MSR-VTT上为25.9，在Flickr30k上为18.3。
• 在Flickr30kEntities数据集上，该方法在注意力正确性方面优于软注意力基线模型，尤其在'animals'和'other'等常偏离中心的类别上表现更优。
• 该方法生成的显著性热图比显式软注意力模型更准确，如在图像和视频基准测试中，注意力正确性指标更高。
• 在视频分析中，模型能正确识别关键词语的时间显著帧，例如在滑雪者并非主要焦点时，仍能突出显示与'skating'相关的雪地区域。
• 对于名词短语，该方法能一致地定位人类及其他显著物体，尽管偶尔因视觉相似性而误定位（如将门误认为窗户）。
• 在颜色注意力方面，模型表现出出人意料的行为，例如为骑车者分配'red'显著性，而'white'注意力则分散在其他区域，表明其具备细致但非总是直观的词语-区域关联能力。