[论文解读] Small ReLU networks are powerful memorizers: a tight analysis of memorization capacity

Chulhee Yun, Suvrit Sra+1 more|arXiv (Cornell University)|Oct 17, 2018

Stochastic Gradient Optimization Techniques参考文献 40被引用 16

一句话总结

本文证明，具有 Ω(√N) 隐层单元的小型 3 层 ReLU 网络可以完美记忆 N 个数据点，证明了宽度 Θ(√N) 对于记忆容量而言既是必要也是充分的。该研究建立了紧密的理论边界，将结果扩展至更深的网络和残差网络，并表明 SGD 能够快速收敛至接近记忆化极小值的低损失解。

ABSTRACT

We study finite sample expressivity, i.e., memorization power of ReLU networks. Recent results require $N$ hidden nodes to memorize/interpolate arbitrary $N$ data points. In contrast, by exploiting depth, we show that 3-layer ReLU networks with $Ω(\sqrt{N})$ hidden nodes can perfectly memorize most datasets with $N$ points. We also prove that width $Θ(\sqrt{N})$ is necessary and sufficient for memorizing $N$ data points, proving tight bounds on memorization capacity. The sufficiency result can be extended to deeper networks; we show that an $L$-layer network with $W$ parameters in the hidden layers can memorize $N$ data points if $W = Ω(N)$. Combined with a recent upper bound $O(WL\log W)$ on VC dimension, our construction is nearly tight for any fixed $L$. Subsequently, we analyze memorization capacity of residual networks under a general position assumption; we prove results that substantially reduce the known requirement of $N$ hidden nodes. Finally, we study the dynamics of stochastic gradient descent (SGD), and show that when initialized near a memorizing global minimum of the empirical risk, SGD quickly finds a nearby point with much smaller empirical risk.

研究动机与目标

• 理解 ReLU 网络在有限样本下的表达能力与记忆容量，尤其是与 VC 维进行比较。
• 解决现有理论中要求 N 个隐层节点对应 N 个数据点的缺口，该要求在大规模 N 下不切实际。
• 为记忆化所需的最小宽度提供紧致的理论边界，证明对于 3 层网络，Θ(√N) 既是必要也是充分的。
• 在一般位置假设下，将结果扩展至更深的网络和残差网络，降低所需宽度。
• 分析 SGD 在记忆化全局最小值附近的动力学行为，表明其能快速收敛至低损失解。

提出的方法

• 基于 ReLU 激活函数的几何构造，证明具有隐藏宽度 d₁, d₂ 且满足 d₁d₂ ≥ 4Nd_y 的 3 层网络可记忆任意数据集。
• 证明浅层网络（2–3 层）的记忆容量具有匹配的上界，从而确立下界紧致性。
• 通过分析相邻层间边权重乘积之和，将分析扩展至更深的网络，表明隐藏层中 W = Ω(N) 的参数量足以实现记忆化。
• 在一般位置假设下分析残差网络，表明其所需宽度显著低于先前工作。
• 利用损失函数在记忆化全局最小值附近的二阶泰勒展开，分析 SGD 动力学。
• 将梯度和函数扰动分解为与梯度方向平行和正交的分量，从而实现对损失变化的精确边界控制。

实验结果

研究问题

• RQ1 记忆 N 个任意数据点所需的 3 层 ReLU 网络的最小宽度是多少？
• RQ2 能否为浅层 ReLU 网络的记忆容量提供紧致的上下界？
• RQ3 深度如何影响全连接网络中记忆化的参数效率？
• RQ4 在一般位置假设下，残差网络的记忆容量是多少？
• RQ5 当 SGD 初始化在记忆化全局最小值附近时，其收敛至低损失解的速度如何？

主要发现

• 具有隐藏宽度 d₁ = d₂ = 2√N 的 3 层 ReLU 网络可记忆任意大小为 N 的数据集（标量输出），仅需 Θ(√N) 个总隐层单元。
• 对于 3 层 ReLU 网络，Θ(√N) 的宽度要求既是必要也是充分的，证明了记忆容量的紧致边界。
• 对于 d_y 个类别的分类任务，具有宽度 2k–2k–4k 的 4 层 ReLU 网络可记忆 10⁶ 个数据点（10³ 个类别），展示了实际可行性。
• 对于更深的网络，隐藏层中 W = Ω(N) 的参数量足以记忆 N 个数据点，几乎匹配 VC 维的上界 O(WL log W)。
• 在一般位置假设下，残差网络所需隐层单元数远少于 N，相比先前结果有显著改进。
• SGD 在记忆化全局最小值附近初始化时，能快速收敛至附近损失显著更低的点，归因于有利的曲率与梯度结构。