[论文解读] Neural Network Interpretation via Fine Grained Textual Summarization.

Pei Guo, Connor Anderson+2 more|arXiv (Cornell University)|May 23, 2018

Multimodal Machine Learning Applications参考文献 32被引用 9

一句话总结

本文提出了一种弱监督方法，通过利用图像-标题对上的贝叶斯推理学习的滤波器级属性概率密度函数，为卷积神经网络的分类决策生成细粒度的文本解释。该方法实现了语义级别的模型解释，提升了故障分析能力，并支持基于属性的检索与无监督文本定位。

ABSTRACT

Current visualization based network interpretation methodssuffer from lacking semantic-level information. In this paper, we introduce the novel task of interpreting classification models using fine grained textual summarization. Along with the label prediction, the network will generate a sentence explaining its decision. Constructing a fully annotated dataset of filter|text pairs is unrealistic because of image to filter response function complexity. We instead propose a weakly-supervised learning algorithm leveraging off-the-shelf image caption annotations. Central to our algorithm is the filter-level attribute probability density function (p.d.f.), learned as a conditional probability through Bayesian inference with the input image and its feature map as latent variables. We show our algorithm faithfully reflects the features learned by the model using rigorous applications like attribute based image retrieval and unsupervised text grounding. We further show that the textual summarization process can help in understanding network failure patterns and can provide clues for further improvements.

研究动机与目标

• 为解决现有基于可视化的方法在深层神经网络中缺乏语义级别可解释性的问题。
• 使分类模型能够为其预测生成自然语言解释，超越像素级别的显著性图。
• 开发一种弱监督学习方法，避免对滤波器-文本对进行昂贵的手动标注。
• 利用输入图像和特征图作为隐变量，学习滤波器级属性概率密度函数作为条件概率。
• 展示文本摘要在理解模型行为、故障模式以及指导改进方面的实用性。

提出的方法

• 利用现成的图像标题标注，弱监督地学习滤波器-文本关联关系，而无需完整标注滤波器响应对。
• 将滤波器级属性概率密度函数（p.d.f.）定义为在给定输入图像及其特征图条件下的属性条件概率。
• 应用贝叶斯推理，利用图像和特征图作为隐变量估计p.d.f.，从而实现对学习到的滤波器的 probabilistic 解释。
• 使用学习到的p.d.f.生成反映滤波器捕捉语义内容的自然语言解释。
• 将生成的摘要用于下游任务，如基于属性的图像检索与无监督文本定位，以验证可解释性。
• 通过定性与定量分析验证模型行为，包括故障模式检测与改进洞察。

实验结果

研究问题

• RQ1 弱监督方法是否能在无需完整标注的情况下，生成忠实且语义有意义的CNN滤波器响应文本解释？
• RQ2 所学习的滤波器级属性p.d.f.在多大程度上能反映网络实际学习到的特征？
• RQ3 生成的文本摘要是否能提升对模型故障的理解并指导网络架构改进？
• RQ4 该方法在多大程度上能支持下游任务，如基于属性的图像检索与无监督文本定位？
• RQ5 文本摘要过程是否揭示了超越标准可视化技术的模型行为有意义模式？

主要发现

• 所提出的方法仅使用图像标题标注，成功为CNN滤波器响应生成了语义上合理的文本解释，避免了昂贵的滤波器-文本标注需求。
• 滤波器级属性概率密度函数有效捕捉了滤波器的语义内容，实现了对学习特征的准确解释。
• 文本摘要方法在基于属性的图像检索中表现有效，证明了其在语义理解方面的实用性。
• 该方法支持无监督文本定位，表明生成的文本与视觉特征之间具有对齐性，且无需成对训练数据。
• 生成的解释揭示了模型中一致的故障模式，为模型优化提供了可操作的洞察。
• 该方法优于标准可视化技术，提供了反映学习语义的可解释性自然语言解释。