[论文解读] On the Robustness of Convolutional Neural Networks to Internal Architecture and Weight Perturbations

Nicholas Cheney, Martin Schrimpf+1 more|arXiv (Cornell University)|Mar 23, 2017

Adversarial Robustness in Machine Learning参考文献 28被引用 36

一句话总结

本文研究了预训练卷积神经网络（如AlexNet、VGG-16）对内部扰动（如随机权重剪枝、节点移除和权重修改）的鲁棒性。研究发现，较高层卷积层和全连接层具有极强的鲁棒性——即使在70%的连接被移除的情况下仍能保持超过70%的准确率，而第一卷积层则极为脆弱，在类似扰动下性能下降至随机水平。

ABSTRACT

Deep convolutional neural networks are generally regarded as robust function approximators. So far, this intuition is based on perturbations to external stimuli such as the images to be classified. Here we explore the robustness of convolutional neural networks to perturbations to the internal weights and architecture of the network itself. We show that convolutional networks are surprisingly robust to a number of internal perturbations in the higher convolutional layers but the bottom convolutional layers are much more fragile. For instance, Alexnet shows less than a 30% decrease in classification performance when randomly removing over 70% of weight connections in the top convolutional or dense layers but performance is almost at chance with the same perturbation in the first convolutional layer. Finally, we suggest further investigations which could continue to inform the robustness of convolutional networks to internal perturbations.

研究动机与目标

• 理解预训练深度卷积神经网络对内部扰动（如权重和结构变化）的鲁棒性。
• 探究由于内部扰动导致的性能退化是否在不同网络层之间存在差异，特别是早期卷积层与高层卷积层之间的差异。
• 量化在随机突触和节点失效条件下，深层网络中特征表示的鲁棒性。
• 探讨这种鲁棒性对在线学习、硬件故障以及具有动态连接性的生物神经系统的启示。
• 通过系统性扰动分析，为深层网络中的冗余性和分布式特征编码提供实证证据。

提出的方法

• 使用Theano后端的Keras框架，对预训练的AlexNet和VGG-16模型逐层施加扰动。
• 三种类型的内部扰动：(1) 突触失效（将权重随机设为零），(2) 节点失效（移除选定节点的所有权重），(3) 权重扰动（向权重添加均值为零的高斯噪声）。
• 扰动强度按比例变化：0%至70%的连接或节点被移除，性能通过ImageNet上的top-1图像分类准确率进行衡量。
• 在所有层上监测性能，重点关注早期卷积层（conv1）与高层网络（conv3–5，全连接层）。
• 使用p值对不同扰动水平下性能下降的统计显著性进行检验。
• 分析比较线性与非线性性能退化趋势，以推断冗余性和分布式特征表示。

实验结果

研究问题

• RQ1 在不同层上，预训练CNN的分类性能在随机移除突触连接时如何退化？
• RQ2 与突触失效相比，节点失效对性能的影响如何？这揭示了关于特征表示的何种信息？
• RQ3 高层卷积层和全连接层在内部扰动下相比早期卷积层，其鲁棒性在多大程度上更强？
• RQ4 在扰动下，性能退化是呈线性还是非线性趋势？这关于特征编码中的冗余性意味着什么？
• RQ5 所观察到的鲁棒性可归因于分布式表示还是网络架构设计？这又如何为在线学习或容错硬件设计提供启示？

主要发现

• 即使从顶层卷积层或全连接层随机移除70%的权重连接，AlexNet的top-1准确率仍保持在70%以上。
• 相比之下，当第一卷积层（conv1）的70%连接被移除时，分类性能下降至接近随机水平，表明其具有极高脆弱性。
• 节点失效导致的性能退化显著快于突触失效，表明高层网络中的特征依赖于多个冗余输入。
• 随着突触失效比例增加，性能呈非线性下降，表明高层网络中的特征由多个部分冗余的低层特征共同编码。
• 即使扰动影响多个后续层，高层网络的鲁棒性依然存在，表明其影响并非完全源于上游层的误差传播。
• 极少数图像在低失效率下（例如，在dense_2层中10%突触移除时p ≤ 0.0167）表现出单调性能下降，表明特征间存在有限的完美冗余。