[论文解读] On Sparsity in Overparametrised Shallow ReLU Networks

Jaume de Dios, Joan Bruna|arXiv (Cornell University)|Jun 18, 2020

Model Reduction and Neural Networks参考文献 32被引用 8

一句话总结

本文证明，在过参数化的浅层 ReLU 网络中，通过标签噪声实现的隐式正则化与显式变分范数正则化，均可产生具有稀疏支持的解 —— 即仅有有限个神经元处于激活状态，无论网络宽度如何。关键结果是，这些正则化将无穷维优化问题映射为有限维线性规划，从而在过参数化设置下实现理论保证。

ABSTRACT

The analysis of neural network training beyond their linearization regime remains an outstanding open question, even in the simplest setup of a single hidden-layer. The limit of infinitely wide networks provides an appealing route forward through the mean-field perspective, but a key challenge is to bring learning guarantees back to the finite-neuron setting, where practical algorithms operate. Towards closing this gap, and focusing on shallow neural networks, in this work we study the ability of different regularisation strategies to capture solutions requiring only a finite amount of neurons, even on the infinitely wide regime. Specifically, we consider (i) a form of implicit regularisation obtained by injecting noise into training targets [Blanc et al.~19], and (ii) the variation-norm regularisation [Bach~17], compatible with the mean-field scaling. Under mild assumptions on the activation function (satisfied for instance with ReLUs), we establish that both schemes are minimised by functions having only a finite number of neurons, irrespective of the amount of overparametrisation. We study the consequences of such property and describe the settings where one form of regularisation is favorable over the other.

研究动机与目标

• 理解在过参数化的浅层 ReLU 网络中，正则化策略如何在无限宽度下仍能产生有限神经元支持的解。
• 通过识别稀疏解出现的条件，弥合无穷宽平均场分析与有限宽度实际神经网络之间的差距。
• 比较隐式正则化（通过标签噪声）与显式变分范数正则化在促进稀疏性方面的有效性与结构特性。
• 证明在这些正则化下，优化问题可简化为有限维线性规划，即使在过参数化极限下亦成立。
• 通过将梯度下降训练的成功归因于稀疏、低复杂度的解，为有限宽度网络中的梯度训练提供理论依据。

提出的方法

• 在概率测度空间中对浅层 ReLU 网络进行平均场分析，以描述网络参数的分布。
• 引入一个包含标签噪声诱导的隐式正则化与变分范数（TV）正则化的通用正则化族。
• 在较弱的激活函数假设下（例如 ReLU），证明这些正则化目标的最小化器在参数空间上具有稀疏支持。
• 利用射影空间中超平面排列的结构，定义一个与原始无穷维问题等价的有限维线性规划。
• 应用表示定理（Representer theorem）证明，该线性规划的解是稀疏的，其支持大小至多为数据点数量。
• 借助凸分析与曲率性质，论证在过参数化设置下，梯度下降可收敛至这些稀疏最小化器。

实验结果

研究问题

• RQ1 在过参数化的 ReLU 网络中，通过标签噪声实现的隐式正则化是否可导致具有有限神经元支持的解？
• RQ2 在浅层 ReLU 网络的平均场极限下，变分范数正则化是否无论是否过参数化都能产生稀疏解？
• RQ3 在稀疏性与不变性方面，隐式与显式正则化的结构特性有何不同？
• RQ4 在过参数化网络中，无穷维优化问题在多大程度上可被约化为有限维线性规划？
• RQ5 在何种数据条件下，由超平面排列导出的指数规模线性规划可能具有计算可处理性？

主要发现

• 在过参数化的浅层 ReLU 网络中，通过标签噪声实现的隐式正则化与显式变分范数正则化，均可产生具有稀疏支持的最小化器，且与网络宽度无关。
• 由于正则化所诱导的凸性，即使在无限宽度极限下，这些正则化学习问题的最小化器也仅支持在有限个神经元上。
• 由于表示定理，该问题可约化为最多具有 n 个非零系数的有限维线性规划（其中 n 为数据点数量）。
• 由数据在射影空间中诱导的超平面排列的胞腔数量决定了线性规划的规模，其规模在维度上呈指数增长。
• 变分范数正则化在偏置参数上不具备平移不变性，若去除对偏置的依赖，则稀疏性结果将不成立。
• 理论结果表明，梯度下降具有有利的几何结构，因为最小化器在其支持区域附近表现出局部凸性与正曲率。