[论文解读] Relating Input Concepts to Convolutional Neural Network Decisions

Ning Xie, Md Kamruzzaman Sarker+3 more|arXiv (Cornell University)|Nov 21, 2017

Explainable Artificial Intelligence (XAI)参考文献 24被引用 9

一句话总结

本文提出了一种新方法，通过测量晚期特征图中分布式激活的方式，量化卷积神经网络（CNNs）对输入概念（特别是场景图像中的物体）的识别程度。研究发现，仅在特定场景中出现的独特概念与分类准确率呈正相关，而跨多个场景普遍存在的‘误导性’概念则与准确率呈负相关，表明此类概念可能误导CNN的决策。

ABSTRACT

Many current methods to interpret convolutional neural networks (CNNs) use visualization techniques and words to highlight concepts of the input seemingly relevant to a CNN's decision. The methods hypothesize that the recognition of these concepts are instrumental in the decision a CNN reaches, but the nature of this relationship has not been well explored. To address this gap, this paper examines the quality of a concept's recognition by a CNN and the degree to which the recognitions are associated with CNN decisions. The study considers a CNN trained for scene recognition over the ADE20k dataset. It uses a novel approach to find and score the strength of minimally distributed representations of input concepts (defined by objects in scene images) across late stage feature maps. Subsequent analysis finds evidence that concept recognition impacts decision making. Strong recognition of concepts frequently-occurring in few scenes are indicative of correct decisions, but recognizing concepts common to many scenes may mislead the network.

研究动机与目标

• 探究CNN在场景识别任务中对输入概念的识别与分类决策之间的关系。
• 解决现有理解中的空白：即所识别的输入概念是否真正影响CNN决策，而不仅限于基于可视化解释的推断。
• 提出一种在晚期卷积层中以分布式、多特征图方式测量概念识别质量的方法。
• 利用ADE20k数据集分析概念独特性、流行度与稀疏性对CNN决策准确率的影响。
• 识别特定类型的概念（如独特、误导性、稀疏）是否促进或阻碍正确分类。

提出的方法

• 基于晚期卷积层中多个特征图上分布式节点的激活强度，提出一种概念识别得分。
• 使用反卷积技术可视化并验证哪些输入像素激活了特定节点，确保识别结果与实际输入概念相关联。
• 通过唯一性得分 $ U( ext{c}) $ 定义概念唯一性，其中在少数场景中出现的概念被标记为‘独特’。
• 引入流行度得分 $ P( ext{c}) $ 以过滤稀疏概念，仅保留每类场景中在足够比例图像中出现的概念。
• 计算CNN准确率与在不同阈值 $ \beta $ 和 $ \beta $ 下‘独特’与‘误导’概念的平均识别得分之间的皮尔逊相关系数 $ \rho $。
• 提出合成得分 $ S_{ ext{syn}} = \frac{S_{\text{unique}} + (1 - S_{\text{mislead}})}{2} $，以联合评估独特与误导性概念对性能的影响。

实验结果

研究问题

• RQ1 CNN特征图中对输入概念的识别在多大程度上与正确的场景分类决策相关？
• RQ2 独特、误导或稀疏等不同类型的概念在影响CNN决策准确率方面有何差异？
• RQ3 在多种不同场景类型中频繁出现的概念的识别是否会对分类性能产生负面影响？
• RQ4 结合独特与误导性概念识别的合成度量是否比单一得分更准确地预测CNN准确率？
• RQ5 在概念唯一性与流行度的哪些阈值设置下，概念识别与分类准确率之间的相关性达到最大？

主要发现

• 对‘独特’概念（在有限数量场景中频繁出现）的识别与CNN准确率呈中等正相关（$ \rho = 0.454, p = 0.078 $）。
• 对‘误导’概念（在多种不同场景类型中普遍存在的概念）的识别与准确率呈显著负相关（$ \rho = -0.528, p = 0.036 $）。
• 在阈值 $ \alpha = 0.55 $ 和 $ \beta = 0.4 $ 下，使用合成得分实现概念识别与准确率之间的最高总体相关性（$ \rho = 0.521 $）。
• 稀疏概念（在场景中极少出现）被发现会阻碍分类，尽管其影响因流行度阈值 $ \beta $ 的过滤而被削弱。
• 结果表明，CNN可能因过度依赖非判别性的常见视觉模式而被误导。
• 本研究提供了实证证据，表明概念识别质量并非始终有益，且概念类型显著影响决策结果。