[论文解读] Neural Networks are Surprisingly Modular

Daniel Filan, Shlomi Hod+3 more|arXiv (Cornell University)|Mar 10, 2020

Neural Networks and Applications被引用 10

一句话总结

本文提出了一种基于图聚类的多层感知机（MLPs）模块化度量方法，表明经过训练和剪枝的MLP相较于随机网络展现出显著更高的模块化程度，尤其是在使用dropout训练时。研究结果表明，神经网络权重会发展出结构化、模块化的组织形式，从而提升可解释性。

ABSTRACT

The learned weights of a neural network are often considered devoid of scrutable internal structure. To discern structure in these weights, we introduce a measurable notion of modularity for multi-layer perceptrons (MLPs), and investigate the modular structure of MLPs trained on datasets of small images. Our notion of modularity comes from the graph clustering literature: a module is a set of neurons with strong internal connectivity but weak external connectivity. We find that training and weight pruning produces MLPs that are more modular than randomly initialized ones, and often significantly more modular than random MLPs with the same (sparse) distribution of weights. Interestingly, they are much more modular when trained with dropout. We also present exploratory analyses of the importance of different modules for performance and how modules depend on each other. Understanding the modular structure of neural networks, when such structure exists, will hopefully render their inner workings more interpretable to engineers. Note that this paper has been superceded by Clusterability in Neural Networks, arXiv:2103.03386!

研究动机与目标

• 开发一种可度量的神经网络权重模块化概念，以捕捉其内部结构组织特征。
• 探究训练后的神经网络在其学习权重中是否表现出模块化组织。
• 将训练后MLP的模块化程度与具有相似稀疏度的随机初始化和随机权重网络进行比较。
• 探讨训练技术（如dropout）对模块化出现的影响。
• 分析识别出的模块在性能中的功能重要性及其相互依赖性。

提出的方法

• 使用图聚类定义模块化：将神经元视为节点，神经元之间的权重作为边。
• 将模块化度量为神经元组（模块）内部连接强度与外部连接强度的对比。
• 将该度量方法应用于在小型图像数据集上训练的MLP，以评估其结构组织特性。
• 在不同网络配置之间比较模块化程度：随机初始化、训练后、剪枝后以及具有相同稀疏度的随机权重MLP。
• 在训练过程中使用dropout，以评估其对模块化出现的影响。
• 通过消融实验和连接性分析，对模块的重要性与相互依赖性进行探索性分析。

实验结果

研究问题

• RQ1 经过训练的神经网络是否在其学习权重中发展出结构化、模块化的组织？
• RQ2 训练后MLP的模块化程度与具有相似稀疏度的随机初始化或随机权重网络相比如何？
• RQ3 在训练过程中使用dropout是否能增强神经网络权重的模块化？
• RQ4 哪些模块对网络性能贡献最大，它们之间如何相互依赖？
• RQ5 神经网络的模块化结构能否用于提升其内部运作的可解释性？

主要发现

• 训练后和剪枝后的MLP相较于随机初始化网络表现出显著更高的模块化程度。
• 训练后MLP的模块化程度超过具有相同稀疏权重分布的随机MLP，表明存在结构化的学习过程。
• 在训练中使用dropout相比不使用dropout，能显著提升模块化程度。
• 网络中识别出的模块在重要性上存在差异，部分模块对性能的贡献更大。
• 模块之间表现出相互依赖性，表明性能依赖于不同功能单元之间的协调作用。
• 结果表明，神经网络权重并非随机分布，而是发展出一种可解释且可度量的内部组织形式。