[论文解读] Taxonomizing local versus global structure in neural network loss landscapes

Yaoqing Yang, Liam Hodgkinson+5 more|arXiv (Cornell University)|Jul 23, 2021

Stochastic Gradient Optimization Techniques参考文献 94被引用 8

一句话总结

本文通过分析数千个模型的局部和全局结构特性，提出了一种神经网络损失曲面的分类体系。研究发现，高测试准确率与全局上高度连通的损失曲面、模型集成相似性以及局部平滑性密切相关——而数据质量差或模型规模小则可能引发连通性差的损失曲面，即使训练损失为零，也会损害泛化性能。

ABSTRACT

Viewing neural network models in terms of their loss landscapes has a long history in the statistical mechanics approach to learning, and in recent years it has received attention within machine learning proper. Among other things, local metrics (such as the smoothness of the loss landscape) have been shown to correlate with global properties of the model (such as good generalization performance). Here, we perform a detailed empirical analysis of the loss landscape structure of thousands of neural network models, systematically varying learning tasks, model architectures, and/or quantity/quality of data. By considering a range of metrics that attempt to capture different aspects of the loss landscape, we demonstrate that the best test accuracy is obtained when: the loss landscape is globally well-connected; ensembles of trained models are more similar to each other; and models converge to locally smooth regions. We also show that globally poorly-connected landscapes can arise when models are small or when they are trained to lower quality data; and that, if the loss landscape is globally poorly-connected, then training to zero loss can actually lead to worse test accuracy. Our detailed empirical results shed light on phases of learning (and consequent double descent behavior), fundamental versus incidental determinants of good generalization, the role of load-like and temperature-like parameters in the learning process, different influences on the loss landscape from model and data, and the relationships between local and global metrics, all topics of recent interest.

研究动机与目标

• 理解神经网络损失曲面中局部与全局结构之间的相互作用。
• 识别与真实世界模型中良好泛化性能相关的损失曲面特性。
• 超越仅依赖局部尖锐度的度量方法，引入全局连通性与相似性度量。
• 研究模型规模、数据质量与训练超参数对损失曲面结构的影响。
• 提供一个基于熟悉度量（CKA、模式连通性、Hessian）的操作型机器学习框架，用于探测全局损失曲面特性。

提出的方法

• 在多样化任务、架构与数据环境下，对数千个训练好的神经网络模型进行经验分析。
• 使用基于Hessian的度量（最大特征值、迹）量化局部曲率与平滑性。
• 应用模式连通性，评估训练模型之间的全局损失曲面连通性。
• 通过计算模型输出间的CKA（中心化核对齐）相似性，度量集成模型的一致性。
• 系统性地改变模型宽度、数据量、数据质量（标签噪声）以及训练温度。
• 将这些度量与测试准确率相关联，识别与泛化性能相关的结构模式。

实验结果

研究问题

• RQ1 局部度量（如Hessian特征值）与全局损失曲面特性（如连通性与相似性）之间有何关系？
• RQ2 数据质量与模型规模在塑造损失曲面的全局连通性方面发挥何种作用？
• RQ3 即使局部极小值平坦，全局连通性差的损失曲面是否仍会导致泛化性能下降？
• RQ4 与负载相关（模型规模）和温度相关（训练超参数）的参数如何影响损失曲面结构？
• RQ5 连通性与相似性度量在多大程度上比局部尖锐度更能预测泛化性能？

主要发现

• 全局上高度连通的损失曲面与高测试准确率强相关，而连通性差的曲面即使训练损失为零，也会损害泛化性能。
• 增大模型宽度可同时提升模式连通性与CKA相似性，表明全局结构更优且模型间一致性更高。
• 更高的数据量与更优的数据质量可增强CKA相似性与模式连通性，表明数据质量直接影响全局曲面特性。
• 在第四阶段（全局连通且局部平坦的极小值），更大的训练温度可提升模型相似性，表明随机性在促进泛化中具有作用。
• 模式连通性低、Hessian特征值小且CKA相似性低，表明数据缺乏有效信号，提示数据质量差。
• 当受数据质量与模型规模干扰时，局部尖锐度度量（如Hessian迹）不足以预测泛化性能，因为平坦极小值仍可能导致泛化性能差。