[论文解读] On the geometry of solutions and on the capacity of multi-layer neural networks with ReLU activations.

Carlo Baldassi, Enrico M. Malatesta+1 more|arXiv (Cornell University)|Jul 17, 2019

Neural Networks and Applications被引用 1

一句话总结

本文分析了具有二值或实值权重的两层ReLU网络的容量和解空间几何结构，揭示了尽管隐藏单元数量增加，ReLU网络仍保持有限存储容量，这与阈值网络不同。利用大偏差理论，识别出罕见且密集的解区域，这些区域对权重和输入扰动具有鲁棒性，为深度学习中的泛化与优化提供了新见解。

ABSTRACT

Rectified Linear Units (ReLU) have become the main model for the neural units in current deep learning systems. This choice has been originally suggested as a way to compensate for the so called vanishing gradient problem which can undercut stochastic gradient descent (SGD) learning in networks composed of multiple layers. Here we provide analytical results on the effects of ReLUs on the capacity and on the geometrical landscape of the solution space in two-layer neural networks with either binary or real-valued weights. We study the problem of storing an extensive number of random patterns and find that, quite unexpectedly, the capacity of the network remains finite as the number of neurons in the hidden layer increases, at odds with the case of threshold units in which the capacity diverges. Possibly more important, a large deviation approach allows us to find that the geometrical landscape of the solution space has a peculiar structure: while the majority of solutions are close in distance but still isolated, there exist rare regions of solutions which are much more dense than the similar ones in the case of threshold units. These solutions are robust to perturbations of the weights and can tolerate large perturbations of the inputs. The analytical results are corroborated by numerical findings.

研究动机与目标

• 理解ReLU激活如何影响两层神经网络的存储容量。
• 研究ReLU网络与阈值网络相比，其解空间的几何结构。
• 确定当隐藏神经元数量增加时，ReLU网络是否能够存储大量随机模式。
• 利用大偏差技术分析解对权重和输入扰动的鲁棒性。

提出的方法

• 对具有二值或实值权重的两层ReLU网络的解空间几何结构进行理论分析。
• 应用大偏差理论以表征解空间中罕见且密集的区域。
• 将ReLU网络与阈值网络进行比较，突出其在容量和解分布上的差异。
• 通过数值验证确认分析结果，证实密集解簇的存在及其特性。
• 使用统计力学工具建模在大规模模式存储条件下的解空间结构。

实验结果

研究问题

• RQ1 随着隐藏神经元数量的增加，ReLU网络的存储容量是否会发散？
• RQ2 ReLU网络的解空间几何结构与阈值网络有何不同？
• RQ3 解空间中是否存在对权重和输入扰动具有鲁棒性的罕见密集区域？
• RQ4 大偏差理论在表征ReLU网络中解的分布方面起到什么作用？

主要发现

• 尽管隐藏神经元数量增加，ReLU网络的存储容量仍保持有限，这与阈值网络中出现的发散容量形成鲜明对比。
• 大部分解是孤立的，但彼此之间距离较近，表明解空间具有碎片化特征。
• 存在罕见但密集的解簇，对权重和输入的扰动均表现出高度鲁棒性。
• 这些密集解区域相比阈值网络中的解区域更加稳定，表明其具有更优的泛化潜力。
• 数值结果证实了分析预测中关于ReLU网络中存在罕见密集解簇的现象。