[论文解读] Some limitations of norm based generalization bounds in deep neural networks.

Konstantinos Pitas, Andreas Loukas+2 more|arXiv (Cornell University)|May 23, 2019

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了首个基于谱复杂度的深度卷积神经网络泛化界，通过谱复杂度实现比以往方法更紧致的界，其紧致程度高出数个数量级。然而，该方法揭示出关键局限性：谱复杂度无法捕捉现代CNN中的不变性，导致其对网络架构的不变性不敏感，从而削弱了其在泛化能力估计中的理论可靠性。

ABSTRACT

Deep convolutional neural networks have been shown to be able to fit a labeling over random data while still being able to generalize well on normal datasets. Describing deep convolutional neural network capacity through the measure of spectral complexity has been recently proposed to tackle this apparent paradox. Spectral complexity correlates with GE and can distinguish networks trained on normal and random labels. We propose the first GE bound based on spectral complexity for deep convolutional neural networks and provide tighter bounds by orders of magnitude from the previous estimate. We then investigate theoretically and empirically the insensitivity of spectral complexity to invariances of modern deep convolutional neural networks, and show several limitations of spectral complexity that occur as a result.

研究动机与目标

• 为了解决深度神经网络在拟合随机标签的情况下仍能良好泛化的悖论，提出一种基于谱复杂度的更紧致的泛化界。
• 探究谱复杂度是否能准确捕捉现代深度卷积神经网络中固有的归纳偏置和不变性。
• 评估谱复杂度作为泛化界中网络容量度量的理论与实证局限性。

提出的方法

• 提出一种基于谱复杂度的新型深度卷积神经网络泛化界，其推导基于权重矩阵的奇异值。
• 通过在真实标签和随机标签上训练的网络上实证评估谱复杂度，以评估其对泛化性能的敏感性。
• 分析现代CNN的不变性特性（如平移不变性、池化不变性），并测试谱复杂度对这些结构不变性的响应。
• 将所提出的谱复杂度界与先前的泛化界进行比较，证明其在紧致性方面实现了数量级的改进。
• 通过理论分析表明，尽管架构不变性有助于提升泛化性能，但谱复杂度在这些不变性下保持不变。

实验结果

研究问题

• RQ1 与先前方法相比，谱复杂度能否为深度卷积神经网络提供更紧致的泛化界？
• RQ2 谱复杂度对现代CNN中的不变性（如权重共享和池化）如何响应？
• RQ3 为何谱复杂度无法区分在真实标签与随机标签上训练的网络，尽管它们的泛化性能存在差异？
• RQ4 谱复杂度在多大程度上反映了深度CNN的真实归纳偏置？

主要发现

• 所提出的基于谱复杂度的泛化界显著优于先前估计，紧致性提升达数个数量级。
• 谱复杂度在权重共享和池化等架构不变性下保持不变，尽管这些特性有助于提升泛化性能。
• 谱复杂度无法区分在真实标签与随机标签上训练的网络，表明其对泛化行为存在根本性不敏感。
• 理论分析表明，当引入不变性时，谱复杂度不会减小，从而削弱了其衡量容量降低的能力。
• 实证结果证实，谱复杂度在存在结构不变性时与实际泛化性能的相关性极低。