[论文解读] Network Dissection: Quantifying Interpretability of Deep Visual Representations

David Bau, Bolei Zhou+3 more|arXiv (Cornell University)|Apr 19, 2017

Cell Image Analysis Techniques被引用 7

一句话总结

本文提出了网络解剖（Network Dissection）框架，通过衡量卷积神经网络（CNN）中单个隐藏单元与人类可解释的视觉概念之间的对齐程度，量化了CNN的可解释性。研究发现，可解释性是一种轴对齐的属性，可通过训练目标、网络结构选择和归一化技术加以提升，其影响远超分类准确率本身。

ABSTRACT

We propose a general framework called Network Dissection for quantifying the interpretability of latent representations of CNNs by evaluating the alignment between individual hidden units and a set of semantic concepts. Given any CNN model, the proposed method draws on a broad data set of visual concepts to score the semantics of hidden units at each intermediate convolutional layer. The units with semantics are given labels across a range of objects, parts, scenes, textures, materials, and colors. We use the proposed method to test the hypothesis that interpretability of units is equivalent to random linear combinations of units, then we apply our method to compare the latent representations of various networks when trained to solve different supervised and self-supervised training tasks. We further analyze the effect of training iterations, compare networks trained with different initializations, examine the impact of network depth and width, and measure the effect of dropout and batch normalization on the interpretability of deep visual representations. We demonstrate that the proposed method can shed light on characteristics of CNN models and training methods that go beyond measurements of their discriminative power.

研究动机与目标

• 开发一种通用框架，用于量化卷积神经网络（CNN）中深层视觉表征的可解释性。
• 探究可解释的隐藏单元是否反映了有意义的解耦表征，还是特征空间对齐的产物。
• 考察训练技术、网络架构和优化方法如何影响可解释单元的出现。
• 评估可解释性是否与判别性能相关，或是否独立于判别性能。
• 分析深度、宽度、批量归一化、丢弃率以及训练数据在塑造可解释表征中的作用。

提出的方法

• 该方法使用Broden数据集——一个大规模、密集标注的视觉概念数据集——对CNN各层的隐藏单元进行标注。
• 针对每个隐藏单元，计算其在Broden图像上的激活响应，并通过最大激活或线性探测识别最相关的语义概念。
• 通过特定语义概念的激活分数，量化单元激活模式与语义概念之间的对齐程度，从而衡量可解释性。
• 该框架适用于任何预训练的CNN，并在每个中间卷积层评估隐藏单元。
• 利用线性SVM和迁移学习验证可解释单元在下游任务中的实用性。
• 通过旋转特征空间测试鲁棒性，结果表明旋转会破坏可解释性，从而证实其依赖于轴向的特性。

实验结果

研究问题

• RQ1 CNN中的可解释性是源于有意义的解耦，还是特征空间方向的产物？
• RQ2 不同的训练目标（监督学习与自监督学习）如何影响可解释单元的出现？
• RQ3 架构选择（如深度、宽度、批量归一化、丢弃率）如何影响可解释性？
• RQ4 可解释检测器的数量是否与下游分类性能相关？
• RQ5 可解释性能否独立于判别准确率进行量化和测量？

主要发现

• CNN中的可解释单元并非随机；它们对应于特定的语义概念，如物体、部件、纹理和场景。
• 可解释性是一种轴对齐的属性：旋转特征空间会破坏可解释性，但不会影响分类准确率。
• 在Places365上预训练的网络，其唯一物体检测器数量高于在ImageNet上预训练的网络，即使两者准确率相近。
• 在AlexNet中加宽最后一层卷积（conv5）可增加唯一检测器数量和总检测器单元数，但超过1024个单位后收益递减。
• 在Places365上预训练的ResNet152在action40动作识别任务上达到比在ImageNet上预训练的ResNet152更高的准确率，尽管其唯一检测器更少，表明概念适配性比数量更重要。
• 最后一层卷积中唯一物体检测器的数量与下游分类准确率呈正相关，但该关系并非严格单调。