[论文解读] Perceptron Theory for Predicting the Accuracy of Neural Networks.

Denis Kleyko, Antonello Rosato+3 more|arXiv (Cornell University)|Dec 14, 2020

Neural Networks and Reservoir Computing参考文献 51被引用 10

一句话总结

本文提出了一种基于神经网络各层突触后总和的前两阶矩（均值与协方差）的感知机理论，用于预测分类准确率。该理论将先前的理论推广至回声状态网络与深度网络，通过高斯统计及数值或基于采样的近似方法，实现了对小型与大型分类问题的高精度性能预测。

ABSTRACT

Many neural network models have been successful at classification problems, but their operation is still treated as a black box. Here, we developed a theory for one-layer perceptrons that can predict performance on classification tasks. This theory is a generalization of an existing theory for predicting the performance of Echo State Networks and connectionist models for symbolic reasoning known as Vector Symbolic Architectures. In this paper, we first show that the proposed perceptron theory can predict the performance of Echo State Networks, which could not be described by the previous theory. Second, we apply our perceptron theory to the last layers of shallow randomly connected and deep multi-layer networks. The full theory is based on Gaussian statistics, but it is analytically intractable. We explore numerical methods to predict network performance for problems with a small number of classes. For problems with a large number of classes, we investigate stochastic sampling methods and a tractable approximation to the full theory. The quality of predictions is assessed in three experimental settings, using reservoir computing networks on a memorization task, shallow randomly connected networks on a collection of classification datasets, and deep convolutional networks with the ImageNet dataset. This study offers a simple, bipartite approach to understand deep neural networks: the input is encoded by the last-but-one layers into a high-dimensional representation. This representation is mapped through the weights of the last layer into the postsynaptic sums of the output neurons. Specifically, the proposed perceptron theory uses the mean vector and covariance matrix of the postsynaptic sums to compute classification accuracies for the different classes. The first two moments of the distribution of the postsynaptic sums can predict the overall network performance quite accurately.

研究动机与目标

• 开发一种可推广的理论，用于预测神经网络中的分类准确率，尤其针对当前被视为黑箱的性能表现。
• 将现有针对回声状态网络与向量符号架构的理论扩展至单层感知机与更深层次架构。
• 仅利用最终层突触后总和的前两个统计矩，实现准确的性能预测。
• 通过数值方法与随机采样技术，解决全高斯理论在大规模分类任务中的不可计算性问题。

提出的方法

• 该理论在高斯假设下，利用均值向量与协方差矩阵对输出层中突触后总和的分布进行建模。
• 通过分析最终层中各类表示之间的统计分离程度，将该框架应用于预测分类准确率。
• 对于类别数量较少的情况，采用数值积分方法，从高斯统计中评估完整的理论预测。
• 对于类别数量较多的情况，采用随机采样方法，并结合全理论的可处理解析近似。
• 该方法将网络视为双部系统：早期层负责输入编码，最后一层权重将输入映射为突触后总和。
• 通过在多种网络架构与数据集上对比理论预测与实际结果，验证了预测的准确性。

实验结果

研究问题

• RQ1 所提出的感知机理论能否准确预测回声状态网络的分类性能？此前的理论无法涵盖此类网络。
• RQ2 在多种分类数据集上，突触后总和的前两个矩在浅层随机连接网络中，能否实现高精度的准确率预测？
• RQ3 对于包含大量类别的大规模问题（如ImageNet），全高斯理论在多大程度上可被近似或通过采样实现？
• RQ4 在ImageNet上训练的深度卷积网络中，理论预测与实际性能相比如何？
• RQ5 该理论能否作为统一框架，用于理解包括回声状态计算与深度网络在内的不同网络架构的性能表现？

主要发现

• 该理论成功预测了回声状态网络的性能，而此前的理论无法建模此类网络，证明了其更广泛的应用潜力。
• 在浅层随机连接网络中，该理论在多个基准数据集上均实现了对分类准确率的高保真预测。
• 在ImageNet数据集上，当采用随机采样近似时，理论预测与实际结果高度吻合。
• 利用突触后总和的均值与协方差，能够捕捉到实现准确性能预测所必需的核心统计结构。
• 解析近似与随机采样方法为将该理论应用于多类别大规模问题提供了可行路径。
• 该理论揭示，仅最后一层突触后总和的统计特性即可充分预测整个网络的准确率，支持了深度网络的双部视图。