[论文解读] Refined Generalization Analysis of Gradient Descent for Over-parameterized Two-layer Neural Networks with Smooth Activations on Classification Problems.

Atsushi Nitanda, Taiji Suzuki|arXiv (Cornell University)|May 23, 2019

Neural Networks and Applications被引用 9

一句话总结

本文针对具有平滑激活函数的过参数化两层神经网络在二分类任务中梯度下降的泛化性能，提出了一种改进的泛化分析。通过引入一个更自然的假设——通过神经正切模型实现完美可分性——该工作在泛化界方面取得了显著改进，且对网络宽度的依赖性远优于以往工作，从而扩展了可被理论证明泛化能力的过参数化网络类别。

ABSTRACT

Recently, several studies have proven the global convergence and generalization abilities of the gradient descent method for two-layer ReLU networks by making a positivity assumption of the Gram-matrix of the neural tangent kernel. However, the performance of gradient descent on classification problems has not been well studied, and further investigation of the problem structure is possible. In this work, we present a partially stronger but reasonable assumption for binary classification problems compared to the positivity assumption of the Gram-matrix, where a data distribution can be perfectly classifiable by a tangent model, and we provide a refined generalization analysis of the gradient descent method for two-layer networks with smooth activations. A remarkable point of this study is that our generalization bound has much better dependence on the network width compared to existing results. As a result, our theory significantly enlarges a class of over-parameterized networks having provable generalization ability, with respect to network width, while most studies require much higher over-parameterization.

研究动机与目标

• 为填补现有理论对过参数化两层神经网络在分类问题中梯度下降泛化性能理解的空白。
• 用更自然、更现实的假设替代神经正切核的格拉姆矩阵正定性这一限制性条件。
• 推导出相较于现有结果在网络宽度上具有显著改进依赖关系的泛化界。
• 通过降低所需过参数化量级，扩展可被理论证明具有泛化能力的过参数化网络类别。

提出的方法

• 提出一种新假设：数据分布可通过神经网络的正切模型完美分类，该假设弱于且更符合实际，相较于神经正切核格拉姆矩阵的正定性假设。
• 在该新假设下，分析具有平滑激活函数的两层网络中梯度下降的动力学行为。
• 利用统计学习理论技术推导泛化界，重点关注网络宽度与泛化误差之间的相互作用。
• 通过精细化分析神经正切核及其相关正切模型，建立更紧致的泛化保证。
• 证明泛化误差随网络宽度的衰减速率显著优于以往工作。
• 利用激活函数的光滑性，实现对过参数化区域中梯度流与泛化误差的更紧密控制。

实验结果

研究问题

• RQ1 能否在过参数化两层网络的分类问题中，使用比神经正切核格拉姆矩阵正定性更自然的假设来分析泛化性能？
• RQ2 在现实的数据可分性假设下，梯度下降的泛化误差如何随网络宽度变化？
• RQ3 与以往理论结果相比，能否显著降低实现可证明泛化所需的过参数化程度？
• RQ4 平滑激活函数对本设定下梯度下降泛化性能有何影响？
• RQ5 正切模型对数据分布的完美分类能力是否能带来更强的泛化保证？

主要发现

• 所提出的假设——正切模型可完美分类数据分布——比神经正切核格拉姆矩阵的正定性假设更自然且更弱。
• 本工作推导出的泛化界在对网络宽度的依赖关系上显著优于现有结果。
• 理论结果证明了比以往已知更广泛类别的过参数化两层网络具有可证明的泛化能力。
• 与以往工作相比，实现泛化的所需过参数化程度被大幅降低，后者通常要求极高的宽度量级。
• 该分析适用于平滑激活函数，将理论理解从ReLU网络扩展至更广泛范围。
• 精细化分析表明，在现实数据假设下，即使在中等程度的过参数化下，梯度下降仍能实现良好的泛化性能。