[论文解读] Provable Memorization via Deep Neural Networks using Sub-linear Parameters

Sejun Park, Jaeho Lee+2 more|arXiv (Cornell University)|Oct 26, 2020

Machine Learning and Algorithms参考文献 32被引用 10

一句话总结

该论文证明，当输入满足Δ-分离条件（该条件在许多实际数据集中成立）时，具有次线性参数量（具体为O(N^{2/3})）的深度神经网络可被严格证明实现对N个输入-标签对的记忆。通过利用深度结构以及ReLU/双曲正切激活函数，作者构建了宽度仅为3的窄深网络，其参数量显著低于标准的O(N)边界，从而解决了过参数化理论中一个关键的理论缺口。

ABSTRACT

It is known that $O(N)$ parameters are sufficient for neural networks to memorize arbitrary $N$ input-label pairs. By exploiting depth, we show that $O(N^{2/3})$ parameters suffice to memorize $N$ pairs, under a mild condition on the separation of input points. In particular, deeper networks (even with width $3$) are shown to memorize more pairs than shallow networks, which also agrees with the recent line of works on the benefits of depth for function approximation. We also provide empirical results that support our theoretical findings.

研究动机与目标

• 确定神经网络在使用少于O(N)参数的情况下，能够以何种条件记忆N个输入-标签对。
• 证明深度结构可实现记忆化所需的次线性参数缩放，从而克服先前负面结果的限制。
• 形式化一个几何条件——Δ-分离性——以捕捉实际数据分布，并实现更紧致的记忆化边界。
• 弥合过参数化网络中函数逼近能力与记忆容量之间的理论差距。

提出的方法

• 引入Δ-分离性条件：N个输入之间最大两两距离与最小两两距离的比值有界于Δ。
• 构建一个使用ReLU或双曲正切激活函数的深层、窄（宽度为3）全连接网络，以记忆任意Δ-分离的N对输入-标签数据。
• 设计一种模块化网络架构，通过指示函数实现二进制表示与逐位操作，以编码标签。
• 通过ReLU/双曲正切指示函数的线性组合实现每一层，以提取并传播标签的各位信息。
• 利用深度模拟按位操作：每一层处理标签的一小部分比特，从而高效表示大规模标签空间。
• 证明网络深度为O(N^{2-2w} + log Δ)，参数量为O(N^w + log Δ)，其中w ∈ [2/3, 1]，当w=2/3时达到O(N^{2/3})的参数量。

实验结果

研究问题

• RQ1 在现实数据条件下，深度神经网络是否能以少于O(N)参数量记忆N个输入-标签对？
• RQ2 数据的何种几何或结构特性可实现次线性参数记忆？
• RQ3 深度在减少记忆化所需参数量方面发挥何种作用？
• RQ4 在温和的数据假设下，是否可以绕过Sontag（1997）关于o(N)参数量的负面结果？

主要发现

• 对于任意Δ-分离的N对输入-标签数据，当Δ = 2^{O(N^{2/3})}时，具有O(N^{2/3})参数的全连接深层网络可实现数据记忆。
• 该网络仅使用O(N^{2/3})参数即实现记忆，优于标准的O(N)边界。
• 该构造适用于宽度为3的网络，表明即使在狭窄架构中，深度也能显著提升记忆能力。
• 深度和参数量中的log Δ项在实际数据集中通常可忽略不计（例如，ImageNet中log Δ < 17），使该边界在真实场景中具有实际有效性。
• 实验结果证实，在Δ-分离条件下，参数量少于样本数的网络仍可对训练集实现完美记忆。