[论文解读] PAC-Bayesian Margin Bounds for Convolutional Neural Networks

Konstantinos Pitas, Mike Davies+1 more|arXiv (Cornell University)|Dec 30, 2017

Stochastic Gradient Optimization Techniques参考文献 19被引用 8

一句话总结

该论文通过利用卷积层固有的稀疏性和结构特性，将PAC-Bayesian边缘界扩展至卷积神经网络，实现了比先前方法高阶数更紧致的一般化误差界。通过分析在稀疏性和权重重用约束下的权重矩阵谱范数，作者为LeNet-5、AlexNet和VGG-16等架构得出了显著改进的样本复杂度估计。

ABSTRACT

Recently the generalization error of deep neural networks has been analyzed through the PAC-Bayesian framework, for the case of fully connected layers. We adapt this approach to the convolutional setting.

研究动机与目标

• 为解决深度卷积神经网络一般化理论中的空白，因为高参数量导致传统界变得无意义。
• 将先前仅应用于全连接网络的PAC-Bayesian边缘界扩展至卷积架构，利用结构稀疏性和权重重用。
• 通过将分析与卷积层的环境维度解耦，推导出更紧致的一般化误差界。
• 通过在LeNet-5、AlexNet和VGG-16等标准CNN上的实证评估，验证理论改进。

提出的方法

• 提出对类似卷积层的稀疏性分析，将其建模为无权重重用的稀疏带状矩阵。
• 将分析扩展至具有权重重用的真实卷积层，表明其界紧致性相似。
• 采用基于扰动的一般化界PAC-Bayesian理论，其中后验通过随机权重扰动定义。
• 通过结构化随机矩阵的谱范数界，推导出在稀疏性下权重矩阵期望谱范数的理论估计。
• 通过估计各层特定常数 $ C_i^2 $，将该界应用于常见架构，这些常数用于缩放一般化误差。
• 通过100次迭代的蒙特卡洛模拟验证理论预测，比较理论与实测的谱范数。

实验结果

研究问题

• RQ1 能否通过利用其结构稀疏性，有意义地将PAC-Bayesian边缘界扩展至卷积神经网络？
• RQ2 卷积层中的有效参数量与全连接层相比，如何影响一般化误差界？
• RQ3 权重重用与稀疏带状结构在多大程度上降低了卷积层的容量，从而带来更紧致的一般化界？
• RQ4 理论谱范数估计与真实CNN架构中的实测观察结果相比如何？

主要发现

• 对于LeNet-5，所提界将一般化误差估计从 $\mathcal{O}(\sqrt{10^5/m})$ 降低至 $\mathcal{O}(\sqrt{10^4/m})$，改进10倍。
• 对于AlexNet，界从 $\mathcal{O}(\sqrt{10^7/m})$ 改进至 $\mathcal{O}(\sqrt{10^5/m})$，样本复杂度项减少100倍。
• 对于VGG-16，界从 $\mathcal{O}(\sqrt{10^8/m})$ 改进至 $\mathcal{O}(\sqrt{10^5/m})$，在更深架构中也表现出一致的改进。
• 理论推导的谱范数估计与实测结果在对数因子内一致，验证了模型的准确性。
• 在深层网络中改进最为显著，当滤波器感受野相对于特征图大小较小时，凸显了结构分析的优势。
• 出人意料的是，无权重重用的类似卷积层的界与真实卷积层处于同一数量级，表明稀疏性本身已是强大的正则化器。