[论文解读] On the relationship between class selectivity, dimensionality, and robustness

Matthew L. Leavitt, Ari S. Morcos|arXiv (Cornell University)|Jul 8, 2020

Imbalanced Data Classification Techniques参考文献 26被引用 4

一句话总结

本文研究了深度神经网络中神经元对特定类别响应的选择性（即类别选择性）与模型鲁棒性之间的因果关系。通过引入类别选择性正则化项，作者发现降低选择性可提升模型对自然图像退化（如模糊、亮度变化）的鲁棒性，但同时会增加对基于梯度的对抗攻击的脆弱性，且激活变化的表征维度升高可解释这种对抗脆弱性。

ABSTRACT

While the relative trade-offs between sparse and distributed representations in deep neural networks (DNNs) are well-studied, less is known about how these trade-offs apply to representations of semantically-meaningful information. Class selectivity, the variability of a unit's responses across data classes or dimensions, is one way of quantifying the sparsity of semantic representations. Given recent evidence showing that class selectivity can impair generalization, we sought to investigate whether it also confers robustness (or vulnerability) to perturbations of input data. We found that mean class selectivity predicts vulnerability to naturalistic corruptions; networks regularized to have lower levels of class selectivity are more robust to corruption, while networks with higher class selectivity are more vulnerable to corruption, as measured using Tiny ImageNetC and CIFAR10C. In contrast, we found that class selectivity increases robustness to multiple types of gradient-based adversarial attacks. To examine this difference, we studied the dimensionality of the change in the representation due to perturbation, finding that decreasing class selectivity increases the dimensionality of this change for both corruption types, but with a notably larger increase for adversarial attacks. These results demonstrate the causal relationship between selectivity and robustness and provide new insights into the mechanisms of this relationship.

研究动机与目标

• 探究深度神经网络表征中类别选择性如何影响对输入扰动的鲁棒性。
• 考察在不同扰动类型下，稀疏（高选择性）或分布式（低选择性）表征是否具有更优的鲁棒性。
• 确定类别选择性是否在平均情况（自然退化）与最坏情况（对抗攻击）鲁棒性之间起到权衡作用。
• 分析表征维度在选择性与鲁棒性关系之间的中介作用。

提出的方法

• 在训练过程中应用类别选择性正则化项，以控制神经元在不同类别上的响应选择性水平。
• 采用基于最大与非最大类别条件均值激活差值的归一化指数来量化类别选择性。
• 在Tiny ImageNet和CIFAR10数据集上训练网络，调节正则化强度（α），其中负α值降低选择性，正α值增加选择性。
• 通过Tiny ImageNetC和CIFAR10C评估自然退化下的鲁棒性，通过FGSM和PGD评估对抗攻击下的鲁棒性。
• 通过主成分分析（PCA）测量表征维度，统计解释激活变化90%方差所需的维度数。
• 利用输入-输出雅可比矩阵评估模型在对抗扰动下的稳定性。

实验结果

研究问题

• RQ1 降低类别选择性是否能提升对自然图像退化的鲁棒性？
• RQ2 降低类别选择性是否会增加对基于梯度的对抗攻击的脆弱性？
• RQ3 扰动引起的激活变化的维度如何与鲁棒性相关？
• RQ4 在不同扰动类型下，类别选择性与鲁棒性之间是否存在因果联系？
• RQ5 表征变化的维度是否能解释自然退化与对抗攻击鲁棒性之间的观察到的权衡？

主要发现

• 降低类别选择性显著提升了在Tiny ImageNetC和CIFAR10C上的自然退化鲁棒性，且随着选择性降低，测试准确率持续上升。
• 降低类别选择性显著增加了对FGSM和PGD对抗攻击的脆弱性，低选择性模型的测试准确率下降更剧烈。
• 在低选择性网络中，对抗扰动引起的激活变化维度显著增加，尤其在浅层网络中更为明显。
• 对于自然退化，激活变化的维度也随选择性降低而增加，但增幅远小于对抗攻击情形。
• 对抗攻击下激活变化维度的增加与低选择性模型脆弱性的提升存在强相关性。
• 结果表明存在根本性权衡：低选择性可增强平均情况下的鲁棒性，但因高维表征变化而损害最坏情况下的鲁棒性。