[论文解读] Selectivity considered harmful: evaluating the causal impact of class selectivity in DNNs

Matthew L. Leavitt, Ari S. Morcos|arXiv (Cornell University)|Mar 3, 2020

Cell Image Analysis Techniques参考文献 68被引用 21

一句话总结

本文引入一种可微正则化项，直接调控深度神经网络单元的类别选择性，表明降低选择性可提升测试准确率（在Tiny ImageNet上提升超过2%），且高选择性并非性能所必需，也无益处。该研究挑战了神经元选择性反映功能重要性的假设，表明其甚至可能损害泛化能力。

ABSTRACT

The properties of individual neurons are often analyzed in order to understand the biological and artificial neural networks in which they're embedded. Class selectivity-typically defined as how different a neuron's responses are across different classes of stimuli or data samples-is commonly used for this purpose. However, it remains an open question whether it is necessary and/or sufficient for deep neural networks (DNNs) to learn class selectivity in individual units. We investigated the causal impact of class selectivity on network function by directly regularizing for or against class selectivity. Using this regularizer to reduce class selectivity across units in convolutional neural networks increased test accuracy by over 2% for ResNet18 trained on Tiny ImageNet. For ResNet20 trained on CIFAR10 we could reduce class selectivity by a factor of 2.5 with no impact on test accuracy, and reduce it nearly to zero with only a small ($\sim$2%) drop in test accuracy. In contrast, regularizing to increase class selectivity significantly decreased test accuracy across all models and datasets. These results indicate that class selectivity in individual units is neither sufficient nor strictly necessary, and can even impair DNN performance. They also encourage caution when focusing on the properties of single units as representative of the mechanisms by which DNNs function.

研究动机与目标

• 探究单个神经元的类别选择性是否对深度神经网络性能具有功能必要性或有益性。
• 解决间接方法（如神经元剪枝）的局限性，后者无法隔离选择性的因果作用。
• 开发并应用一种直接正则化技术，将类别选择性作为训练中的因果变量进行控制。
• 挑战当前普遍认为神经元选择性反映深度神经网络中有意义功能角色的假设。
• 评估高选择性是否阻碍泛化或在深度网络中属于冗余现象。

提出的方法

• 将一种可微正则化项引入损失函数，以直接控制隐藏单元中的类别选择性。
• 该正则化项通过惩罚或促进神经元对不同输入类别的响应方差，实现对选择性的精确调控。
• 该方法在训练过程中应用，使能够开展选择性如何影响准确率与泛化能力的受控实验。
• 在ResNet18（Tiny ImageNet）和ResNet20（CIFAR-10）上进行实验，并对特定网络层进行消融研究。
• 通过自 resampling 的置信区间和Wilcoxon秩和检验评估统计显著性。
• 通过确保正则化不简单地将选择性旋转至非单位轴，避免混杂因素的影响。

实验结果

研究问题

• RQ1 单个神经元的类别选择性是否与深度神经网络性能存在因果关联？
• RQ2 降低类别选择性是否能带来更好的泛化能力和更高的测试准确率？
• RQ3 高类别选择性是否对深度神经网络的有效功能是必需的？
• RQ4 即使并非必需，增加类别选择性是否会损害网络性能？
• RQ5 神经元选择性在多大程度上是网络功能性的冗余或误导性代理？

主要发现

• 在Tiny ImageNet上训练的ResNet18中，降低类别选择性使测试准确率提升超过2%。
• 在CIFAR-10上使用ResNet20时，类别选择性降低了2.5倍，且测试准确率未下降。
• 选择性可近乎降低至零（约20倍），仅导致测试准确率下降约2%。
• 对增加类别选择性进行正则化，在所有模型和数据集上均显著降低了测试准确率。
• 增加选择性带来的负面影响迅速且具有统计显著性，关键比较中p < 6×10⁻⁶。
• 结果表明，类别选择性既非性能所必需，也非充分条件，甚至可能具有损害作用。