[论文解读] The intriguing role of module criticality in the generalization of deep networks

Niladri S. Chatterji, Behnam Neyshabur+1 more|arXiv (Cornell University)|Dec 2, 2019

Advanced Memory and Neural Computing参考文献 27被引用 13

一句话总结

本文引入模块临界性作为一项新颖的复杂度度量，用于量化深度神经网络性能对单个模块权重回滚至初始值的敏感程度。通过分析连接初始权重与训练后权重的损失山谷形状，该方法揭示：模块临界性较低的架构泛化性能更优，在CIFAR-10和CIFAR-100上的ResNet、VGG及全连接网络中，其在泛化性能排序上优于先前的复杂度度量方法。

ABSTRACT

We study the phenomenon that some modules of deep neural networks (DNNs) are more critical than others. Meaning that rewinding their parameter values back to initialization, while keeping other modules fixed at the trained parameters, results in a large drop in the network's performance. Our analysis reveals interesting properties of the loss landscape which leads us to propose a complexity measure, called module criticality, based on the shape of the valleys that connects the initial and final values of the module parameters. We formulate how generalization relates to the module criticality, and show that this measure is able to explain the superior generalization performance of some architectures over others, whereas earlier measures fail to do so.

研究动机与目标

• 理解为何某些深度神经网络架构在训练准确率相近的情况下仍具有更好的泛化性能。
• 识别现有泛化复杂度度量的局限性，这些度量无法与实际性能一致地对架构进行排序。
• 提出一种新度量——模块临界性，通过个体模块对权重回滚的鲁棒性来捕捉架构在泛化方面的差异。
• 证明模块临界性与实际泛化误差的相关性显著高于现有度量，如PAC-Bayes、基于范数的边界或与初始值距离的度量。
• 为设计更优架构和正则化方法提供基础，识别出对泛化贡献最大的模块。

提出的方法

• 将模块临界性定义为从初始权重到最终权重的凸组合中，性能下降不超过阈值ϵ的最小分数α ∈ [0,1]。
• 对每个模块，在初始权重与最终权重之间的线段上采样点，沿正交方向添加高斯噪声，并评估损失，以重建二维山谷轮廓。
• 将从最终权重向初始权重方向移动、性能尚未下降的距离作为临界性的代理指标——距离越短，临界性越高。
• 将所有模块的模块临界性平均，形成网络级复杂度度量，即“网络临界性”。
• 使用Kendall’s τ相关系数，将该度量与现有复杂度边界（如PAC-Bayes、Rademacher、基于范数的边界）进行比较，评估其与泛化误差的相关性。
• 在ResNet18、ResNet101、VGG16、VGG11、DenseNet121以及全连接网络上进行评估，这些网络均在CIFAR-10和CIFAR-100上进行训练。

实验结果

研究问题

• RQ1 模块临界性能否解释为何某些DNN架构在标准复杂度度量失效时仍具有更好的泛化性能？
• RQ2 损失景观的几何结构——特别是连接初始权重与训练后权重的山谷形状——如何与泛化性能相关？
• RQ3 对权重回滚的鲁棒性进行模块级度量，是否与泛化误差的相关性高于现有复杂度指标？
• RQ4 由模块临界性导出的网络临界性，能否作为多种架构中泛化性能的可靠预测指标？
• RQ5 模块临界性是否可作为指导架构搜索或正则化设计的有效度量？

主要发现

• 所提出的网络临界性度量在CIFAR-100上与泛化误差的Kendall’s τ相关系数达到0.55，优于所有其他测试的复杂度度量。
• 在CIFAR-10上，网络临界性度量正确排定了ResNet101、ResNet18、ResNet34、ResNet50、VGG16及全连接网络的泛化性能，而其他度量则未能做到。
• ResNet101在CIFAR-100上具有最低的泛化误差（25.5%），该排名仅被网络临界性度量正确捕捉。
• 该方法成功识别出VGG11和DenseNet121在所有其他度量中均被错误排序，而网络临界性度量显示出更高的排序一致性。
• 该度量在不同数据集上表现出稳健性，在CIFAR-100上仍保持高相关性（τ = 0.55），尽管在VGG11和FCN (I)/(II) 等特定模型的排序上存在部分失败。
• 模块临界性揭示：关键模块具有狭窄、陡峭的山谷或在初始值附近损失上升，而非关键模块则具有宽阔、平坦的山谷，表明损失景观几何结构存在结构性差异。