[论文解读] Structure and Performance of Fully Connected Neural Networks: Emerging Complex Network Properties

Leonardo Scabini, Odemir Martinez Bruno|arXiv (Cornell University)|Jul 29, 2021

Advanced Memory and Neural Computing被引用 8

一句话总结

本文提出一种复杂网络（CN）框架，用于分析全连接神经网络（FNNs），将每个网络建模为神经元与突触构成的加权无向图。通过计算中心性度量并引入一种神经元集合（BoN）方法，研究识别出六种具有拓扑特征的神经元类型，其与性能相关联，表明子图中心性和聚类性在多种视觉基准上与分类准确率强烈相关。

ABSTRACT

Understanding the behavior of Artificial Neural Networks is one of the main topics in the field recently, as black-box approaches have become usual since the widespread of deep learning. Such high-dimensional models may manifest instabilities and weird properties that resemble complex systems. Therefore, we propose Complex Network (CN) techniques to analyze the structure and performance of fully connected neural networks. For that, we build a dataset with 4 thousand models and their respective CN properties. They are employed in a supervised classification setup considering four vision benchmarks. Each neural network is approached as a weighted and undirected graph of neurons and synapses, and centrality measures are computed after training. Results show that these measures are highly related to the network classification performance. We also propose the concept of Bag-Of-Neurons (BoN), a CN-based approach for finding topological signatures linking similar neurons. Results suggest that six neuronal types emerge in such networks, independently of the target domain, and are distributed differently according to classification accuracy. We also tackle specific CN properties related to performance, such as higher subgraph centrality on lower-performing models. Our findings suggest that CN properties play a critical role in the performance of fully connected neural networks, with topological patterns emerging independently on a wide range of models.

研究动机与目标

• 利用复杂网络（CN）技术研究全连接神经网络的结构与性能关系。
• 识别在不同计算机视觉基准上与模型准确率相关联的神经元拓扑特征。
• 开发一种基于拓扑中心性模式的神经元集合（BoN）框架，用于检测神经元类型。
• 确定CN属性是否独立于目标领域而出现，并影响网络性能。
• 通过拓扑分析为可解释人工智能和改进的神经网络设计提供基础。

提出的方法

• 将每个全连接神经网络建模为加权无向图，其中神经元为节点，突触为边。
• 在训练后为每个隐层神经元计算八种中心性度量（如强度、子图中心性、双分图聚类等）。
• 通过拼接每个神经元最具有信息量的三种中心性度量，构建神经元集合（BoN）描述符。
• 通过聚类分析4,000个在MNIST、Fashion-MNIST、CIFAR10和KTH-TIPS上训练的模型的BoN描述符，识别神经元类型。
• 使用Jensen-Shannon散度（JSD）量化不同基准之间神经元类型分布的相似性。
• 通过比较中心性度量与分类准确率，评估性能相关性，包括对表现最好和最差的100个模型进行线性可分性分析。

实验结果

研究问题

• RQ1 全连接神经网络中的复杂网络属性是否与分类性能相关？
• RQ2 能否在不同视觉任务中识别出具有稳定拓扑特征的独立神经元类型？
• RQ3 神经元类型分布在多大程度上随模型性能变化，且在不同基准之间是否一致？
• RQ4 哪些中心性度量最能预测网络准确率，且能否用于线性分离高性能与低性能模型？
• RQ5 是否存在一种稳定且跨领域的神经元拓扑组织结构，其独立于目标任务而出现？

主要发现

• 三种中心性度量——强度、双分图聚类和子图中心性——包含预测网络性能的最相关信息。
• 具有高子图中心性和聚类系数的神经元在低性能模型中显著更常见。
• 神经元集合（BoN）方法揭示了六种在不同基准和模型架构中一致分布的神经元类型。
• 尽管标准差较高，但不同基准之间神经元类型分布的平均Jensen-Shannon散度（JSD）较低（约0.21–0.33），表明任务间具有强拓扑相似性。
• 隐藏层中单一中心性度量（如子图中心性）的平均值可高精度地线性分离表现最好和最差的100个模型。
• 研究表明，复杂网络属性并非随机，而是系统性地与性能相关联，暗示其在神经网络动态中具有根本作用。