[论文解读] Size-free generalization bounds for convolutional neural networks

Philip M. Long, Hanie Sedghi|arXiv (Cornell University)|May 29, 2019

Advanced Neural Network Applications被引用 20

一句话总结

该论文为卷积神经网络建立了与输入尺寸和特征图尺寸无关的无尺寸通用化边界，其依赖于训练损失、参数数量、损失函数的利普希茨常数以及权重与初始化的距离。这些边界在CIFAR-10及其缩小版本上得到了实验验证，显示其与实际泛化差距的相关性优于以往方法。

ABSTRACT

We prove bounds on the generalization error of convolutional networks. The bounds are in terms of the training loss, the number of parameters, the Lipschitz constant of the loss and the distance from the weights to the initial weights. They are independent of the number of pixels in the input, and the height and width of hidden feature maps. We present experiments with CIFAR-10 and a scaled-down variant, along with varying hyperparameters of a deep convolutional network, comparing our bounds with practical generalization gaps.

研究动机与目标

• 为不随输入尺寸或特征图尺寸变化的卷积神经网络开发通用化边界。
• 推导出与像素数量和特征图空间尺寸无关的边界，以增强其在不同网络架构中的适用性。
• 通过引入损失函数的利普希茨常数和权重与初始值的距离，提升通用化边界的紧致性。
• 在CIFAR-10及其变体上，针对不同超参数设置，对所提出的边界与实际泛化差距进行实验评估。

提出的方法

• 利用雷米奇复杂度和权重路径范数分析，理论推导通用化边界。
• 引入损失函数的利普希茨常数，以控制权重扰动带来的敏感性。
• 在边界表达式中使用最终权重与初始权重之间的欧几里得距离作为正则化项。
• 推导出与参数数量和训练损失成比例的边界，但不随输入分辨率或特征图尺寸变化。
• 将边界应用于在CIFAR-10及其下采样版本上训练的深度卷积网络，并在不同超参数设置下进行分析。

实验结果

研究问题

• RQ1 能否为卷积神经网络推导出与输入尺寸和特征图尺寸无关的通用化边界？
• RQ2 训练后权重与初始值的距离在多大程度上影响泛化误差？
• RQ3 所提出的边界在实际中与真实泛化差距的相关性如何？
• RQ4 在深度卷积网络的不同超参数设置下，这些边界表现如何？

主要发现

• 所提出的边界与输入中的像素数量和特征图的空间尺寸无关，支持无尺寸分析。
• 边界与参数数量和训练损失成比例，但不随输入分辨率或网络深度（以空间维度衡量）变化。
• 引入损失函数的利普希茨常数以及权重与初始化的距离，显著提升了边界的紧致性。
• 在CIFAR-10及其缩小版本上的实验评估表明，与以往方法相比，这些边界与实际泛化差距的相关性更紧密。