[论文解读] The Efficacy of $L_1$ Regularization in Two-Layer Neural Networks

Gen Li, Yuantao Gu+1 more|arXiv (Cornell University)|Oct 2, 2020

Neural Networks and Applications被引用 4

一句话总结

本文表明，在两层神经网络中，$L_1$ 正则化通过控制模型复杂度而无需显式选择神经元数量，可实现接近极小极大最优的泛化误差界。通过对输出层系数施加 $L_1$ 正则化，风险界达到 $O((d/n)^{1/2})$ 的速率（对数因子内），而输入层的 $L_1$ 正则化则给出不随输入维度 $d$ 变化的无维度风险界，从而在高维设置下实现稀疏性和鲁棒性。

ABSTRACT

A crucial problem in neural networks is to select the most appropriate number of hidden neurons and obtain tight statistical risk bounds. In this work, we present a new perspective towards the bias-variance tradeoff in neural networks. As an alternative to selecting the number of neurons, we theoretically show that $L_1$ regularization can control the generalization error and sparsify the input dimension. In particular, with an appropriate $L_1$ regularization on the output layer, the network can produce a statistical risk that is near minimax optimal. Moreover, an appropriate $L_1$ regularization on the input layer leads to a risk bound that does not involve the input data dimension. Our analysis is based on a new amalgamation of dimension-based and norm-based complexity analysis to bound the generalization error. A consequent observation from our results is that an excessively large number of neurons do not necessarily inflate generalization errors under a suitable regularization.

研究动机与目标

• 为解决两层神经网络中模型复杂度与统计风险的挑战，特别是最优隐藏神经元数量选择的困难。
• 探究 $L_1$ 正则化是否可作为控制泛化误差的显式结构选择的替代方法。
• 推导对高维输入维度具有鲁棒性的紧密统计风险界，避免与神经元数量相关的偏差-方差权衡。
• 建立过大的神经元数量在适当的 $L_1$ 正则化下不一定会增加泛化误差的结论。
• 提出一种统一的复杂度分析方法，结合基于维度与基于范数的方法，用于泛化误差界。

提出的方法

• 在输出权重满足 $\|a\|_1 \leq V$ 的函数类上提出约束的 $L_1$ 估计器，并对输入权重施加 $\sup_j (\|w_j\|_1 + |b_j|) \leq \eta$ 的约束，实现联合正则化。
• 提出一种新颖的维度基与范数基复杂度分析的融合方法，以界泛化误差，结合 Rademacher 复杂度与范数基度量。
• 在 $L_1$ 训练损失下推导风险界，表明在适当正则化下收敛速率可接近极小极大最优的 $O((d/n)^{1/2})$。
• 对输入层权重施加 $L_1$ 约束，以获得仅依赖于真实稀疏度 $k$ 而不依赖于 $d$ 的无维度风险界。
• 通过有界输入域假设推导出与 $d$ 和 $r$ 无关的风险界，其中 $\mathcal{R}(\hat{f}_n) \lesssim C\delta_\eta + \frac{V\eta + \tau}{\sqrt{n}}$。
• 采用 ReLU 或 sigmoid 激活函数，并假设噪声为次高斯分布，通过浓度不等式推导出高概率风险界。

实验结果

研究问题

• RQ1 输出层的 $L_1$ 正则化能否实现接近极小极大最优的统计风险界，趋近于参数速率 $O((d/n)^{1/2})$？
• RQ2 输入层的 $L_1$ 正则化是否能产生与输入维度 $d$ 无关的风险界，从而在高维设置下实现稀疏性？
• RQ3 一个单一大型神经网络配合 $L_1$ 正则化是否能优于通过不同神经元数量的多种架构进行模型选择？
• RQ4 当与 $L_1$ 正则化结合时，过多的隐藏神经元是否必然增加泛化误差？
• RQ5 所提方法能否在 $d \gg n$ 的高维输入环境下实现无维度风险界？

主要发现

• 输出层的 $L_1$ 正则化估计器实现风险界 $\mathcal{R}(\hat{f}_n) \lesssim \sqrt{\{d\log(dn)\}/n}$，在 $L_1$ 训练损失下趋近于极小极大最优速率 $O((d/n)^{1/2})$。
• 当输入层施加 $L_1$ 正则化时，风险界变为 $\mathcal{R}(\hat{f}_n) \lesssim \sqrt{\{k\log(dn)\}/n}$，其中 $k$ 为真实稀疏度，与 $d$ 无关。
• 当输出层与输入层均被正则化时，风险界 $\mathcal{R}(\hat{f}_n) \lesssim C\delta_\eta + \frac{V\eta + \tau}{\sqrt{n}}$ 在 $r$ 较大时与 $d$ 和 $r$ 无关。
• 当 $\sigma(x) = 1/(1+e^{-x})$ 且 $\eta \asymp (n\log^2 n)^{1/3}$ 时，风险界达到 $\mathcal{R}(\hat{f}_n) \lesssim V(\log n / n)^{1/3}$，当 $d \gg n$ 时比 $O(n^{-1/2})$ 更紧密。
• 分析表明，在 $L_1$ 正则化下，过多的神经元不一定会增加泛化误差，因为正则化控制了有效模型复杂度。
• 所提方法即使在 $d \gg n$ 的情况下，也能实现无维度风险界，且其最优性仅相差对数因子。