[论文解读] Pruned Neural Networks are Surprisingly Modular

Daniel Filan, Shlomi Hod+3 more|arXiv (Cornell University)|Mar 10, 2020

Neural Networks and Applications参考文献 11被引用 5

一句话总结

本文提出了一种图论方法来衡量剪枝神经网络中的模块性，将模块定义为内部连接紧密而外部连接微弱的神经元簇。研究发现，经过训练和剪枝的MLP相较于随机稀疏网络表现出显著更高的模块性——尤其是在使用dropout训练时——且模块表现出功能重要性和依赖性，表明梯度下降与剪枝过程倾向于促进模块化结构的形成。

ABSTRACT

The learned weights of a neural network are often considered devoid of scrutable internal structure. To discern structure in these weights, we introduce a measurable notion of modularity for multi-layer perceptrons (MLPs), and investigate the modular structure of MLPs trained on datasets of small images. Our notion of modularity comes from the graph clustering literature: a "module" is a set of neurons with strong internal connectivity but weak external connectivity. We find that training and weight pruning produces MLPs that are more modular than randomly initialized ones, and often significantly more modular than random MLPs with the same (sparse) distribution of weights. Interestingly, they are much more modular when trained with dropout. We also present exploratory analyses of the importance of different modules for performance and how modules depend on each other. Understanding the modular structure of neural networks, when such structure exists, will hopefully render their inner workings more interpretable to engineers. Note that this paper has been superceded by "Clusterability in Neural Networks", arxiv:2103.03386 and "Quantifying Local Specialization in Deep Neural Networks", arxiv:2110.08058!

研究动机与目标

• 基于神经元簇的内部与外部连接性，提出一种可度量的、基于图论的多层感知机（MLP）模块性概念。
• 探究经过训练和剪枝的神经网络是否在其学习权重中表现出模块化结构，而不仅仅是随机稀疏网络。
• 探索剪枝MLP中识别出的模块的功能重要性及其相互依赖关系。
• 评估如dropout等训练策略如何影响神经网络中模块性的出现。

提出的方法

• 将神经网络表示为加权无向图，其中神经元为顶点，相邻层之间绝对权重为边的权重。
• 使用归一化割（normalized cut）度量评估模块划分的质量，数值越高表示模块性越好。
• 应用谱聚类方法，基于图的拉普拉斯矩阵及其特征向量，将网络分解为模块。
• 通过将学习得到的划分的归一化割与具有相同稀疏度的随机划分进行比较，来度量模块性。
• 通过单模块损毁实验评估模块重要性：将每个模块的权重置零，并测量准确率下降幅度。
• 通过测量当一个模块被损毁而另一个模块处于激活或非激活状态时的条件准确率损伤，分析模块间的依赖关系。

实验结果

研究问题

• RQ1 在图像数据集上训练的剪枝神经网络是否在其学习权重中表现出可度量的模块化结构？
• RQ2 与具有相同权重分布的随机稀疏网络相比，训练和剪枝后的MLP的模块性如何？
• RQ3 在训练过程中使用dropout是否能增强神经网络中模块化结构的出现？
• RQ4 哪些模块具有功能重要性，它们在性能上如何相互依赖？
• RQ5 模块性是否随训练过程而增加，且是否与学习准确率相关？

主要发现

• 在小图像数据集上训练的剪枝神经网络，其模块性显著高于相同稀疏度的随机稀疏网络，模块性超过约99.7%的此类随机网络。
• 使用dropout训练的MLP比未使用dropout训练的MLP表现出显著更高的模块性，表明dropout有助于促进模块化的权重结构。
• 当准确率提高时，模块性在训练过程中也随之增加，但当在随机标签上训练时模块性仍保持较低水平，表明模块性与真实学习过程相关。
• 某些模块具有功能重要性，损毁它们会导致显著的准确率下降（例如，某些情况下最高达16.6个百分点），且这些影响通常具有统计显著性。
• 部分模块表现出强烈的条件依赖性：当另一个模块处于激活状态时，损毁某一模块会导致更大的性能退化，表明存在相互依赖关系。
• 模块之间的依赖结构具有非对称性和非平凡性，某些模块仅在其他模块存在时才至关重要，表明存在功能特化。