[论文解读] Semantics for Global and Local Interpretation of Deep Neural Networks

Jindong Gu, Volker Tresp|arXiv (Cornell University)|Oct 21, 2019

Explainable Artificial Intelligence (XAI)参考文献 33被引用 7

一句话总结

本文提出一种方法，通过将映射形式化为优化问题，将深度神经网络特征空间中的向量与人类可理解的语义概念相关联。由此产生的语义向量（SeVecs）能够实现对学习知识的全局解释，并通过生成更具判别性的显著性图来提高局部可解释性，其定位精度优于基线方法。

ABSTRACT

Deep neural networks (DNNs) with high expressiveness have achieved state-of-the-art performance in many tasks. However, their distributed feature representations are difficult to interpret semantically. In this work, human-interpretable semantic concepts are associated with vectors in feature space. The association process is mathematically formulated as an optimization problem. The semantic vectors obtained from the optimal solution are applied to interpret deep neural networks globally and locally. The global interpretations are useful to understand the knowledge learned by DNNs. The interpretation of local behaviors can help to understand individual decisions made by DNNs better. The empirical experiments demonstrate how to use identified semantics to interpret the existing DNNs.

研究动机与目标

• 为解决深度神经网络中可解释性不足的问题，将分布式特征表示与人类可理解的语义概念相联系。
• 将语义概念与特征空间向量之间的关联形式化为优化问题，以提升全局与局部可解释性。
• 利用学习到的语义向量增强单个预测中显著性图的判别性。
• 评估语义向量在提升定位精度与类别判别性解释方面的有效性。

提出的方法

• 该方法将语义向量（SeVecs）的发现形式化为一个优化问题，通过将包含特定语义概念的图像的特征表示与特征空间中学习到的向量对齐来实现。
• 使用相似性函数 f(ϕ(x), v_c) 衡量深度特征表示 ϕ(x) 与概念 c 的语义向量 v_c 之间的对齐程度。
• 优化过程通过线性组合基向量 e_f^i 来构建 v_c，使得包含概念 c 的图像在 v_c 上获得最大激活。
• 通过在基于反向传播的解释技术中引入 SeVecs，改进显著性图，增强类别判别性定位能力。
• 引入广义的“指向游戏”（Generalized Pointing Game）以定量评估显著性图性能，其中将图中能量的前 m% 进行阈值化处理，并与真实物体边界框进行比较。
• 该方法应用于 ImageNet 的 ILSVRC 验证集上的预训练模型（AlexNet 和 VGG16），以评估全局可解释性与局部解释质量。

实验结果

研究问题

• RQ1 如何系统地将语义概念与深度神经网络中的分布式特征表示相关联？
• RQ2 所识别的语义向量在多大程度上提升了深度神经网络所学习知识的全局可解释性？
• RQ3 语义向量能否增强单个预测中显著性图的判别性？
• RQ4 基于语义向量的显著性图在定位精度方面与基线方法相比表现如何？

主要发现

• 所提出的方法在 AlexNet 和 VGG16 模型上，均持续优于基线显著性方法（如 Guided Backpropagation、Gradient*Input）的定位精度。
• 平均而言，广义的指向游戏显示，使用语义向量生成的显著性图在从 0% 到 100% 的所有能量阈值下均保持更高的定位精度。
• 基于语义的显著性图显著更具类别判别性，能够正确突出与预测类别相关的特征，同时抑制来自相似类别的无关特征。
• 该方法揭示了现有 DNN 在利用颜色信息方面存在不足，且在处理高度多维的概念时表现困难，表明当前架构存在局限性。
• 基于优化的 SeVec 学习过程实现了有效的全局解释，量化了语义概念之间的关系，如 '条纹' 与 '斑马' 之间的关联。
• 该方法仅需一次反向传播，比依赖迭代反向传播进行特征可视化的先前方法更为高效。