[论文解读] Toward Better Generalization Bounds with Locally Elastic Stability

Zhun Deng, Hangfeng He+1 more|arXiv (Cornell University)|Oct 27, 2020

Sparse and Compressive Sensing Techniques参考文献 38被引用 12

一句话总结

本文提出了局部弹性稳定性（locally elastic stability），这是一种依赖于数据分布的算法稳定性概念，通过捕捉数据特定的敏感性模式（尤其是神经网络和随机特征模型中类别相关的损失变化）来获得指数型泛化界。与统一稳定性相比，该方法在深度学习场景下能获得更紧的泛化界，尤其因为最坏情况下的敏感性会高估平均情况下的行为。

ABSTRACT

Algorithmic stability is a key characteristic to ensure the generalization ability of a learning algorithm. Among different notions of stability, \emph{uniform stability} is arguably the most popular one, which yields exponential generalization bounds. However, uniform stability only considers the worst-case loss change (or so-called sensitivity) by removing a single data point, which is distribution-independent and therefore undesirable. There are many cases that the worst-case sensitivity of the loss is much larger than the average sensitivity taken over the single data point that is removed, especially in some advanced models such as random feature models or neural networks. Many previous works try to mitigate the distribution independent issue by proposing weaker notions of stability, however, they either only yield polynomial bounds or the bounds derived do not vanish as sample size goes to infinity. Given that, we propose \emph{locally elastic stability} as a weaker and distribution-dependent stability notion, which still yields exponential generalization bounds. We further demonstrate that locally elastic stability implies tighter generalization bounds than those derived based on uniform stability in many situations by revisiting the examples of bounded support vector machines, regularized least square regressions, and stochastic gradient descent.

研究动机与目标

• 为解决统一稳定性存在的局限性，即其产生与分布无关的界，无法反映现代模型（如神经网络）中的平均情况敏感性。
• 开发一种弱于统一稳定性的稳定性概念，但仍能产生指数型泛化界。
• 确保泛化界随着训练样本量的增加而趋于消失，以实现与理论预期的一致性。
• 捕捉深度学习模型中观察到的标签相关敏感性模式，例如相似类别之间损失敏感性的对角结构。
• 证明在SVM、岭回归和SGD等实际设置中，局部弹性稳定性产生的泛化界显著优于统一稳定性。

提出的方法

• 提出局部弹性稳定性作为一种依赖于数据的稳定性概念，其通过训练和测试数据的分布来限制损失函数的敏感性，而非基于最坏情况下的单点移除。
• 利用影响函数估计损失对单个数据点的敏感性，从而实现对稳定性参数的经验估计。
• 定义关键稳定性参数：$\sup_{z' \in \mathcal{Z}} \mathbb{E}_z \beta(z', z)$，用于捕捉数据分布上的期望敏感性；以及 $M_\beta = m \beta^U_m$，用于捕捉数据对之间的最坏情况敏感性。
• 基于局部弹性稳定性推导出指数型泛化界，表明其随着样本量增加而趋于消失，从而确保一致性。
• 重新审视标准模型（SVM、岭回归、SGD），比较由统一稳定性与局部弹性稳定性导出的界。
• 在CIFAR-10上通过实证评估ResNet-18和两层ReLU网络，比较$M_l$、$M_\beta$和$\sup_{z'} \mathbb{E}_z \beta(z', z)$，揭示最坏情况与平均情况敏感性之间的差距。

实验结果

研究问题

• RQ1 一种弱于统一稳定性的稳定性概念是否仍能产生指数型泛化界？
• RQ2 一种依赖于数据分布的稳定性度量是否能比最坏情况敏感性更准确地捕捉深度学习模型中的平均情况敏感性？
• RQ3 局部弹性稳定性能否产生随着训练样本量增加而趋于消失的泛化界，从而确保一致性？
• RQ4 在SVM、岭回归和SGD等实际模型中，由局部弹性稳定性导出的泛化界与统一稳定性的界相比如何？
• RQ5 神经网络和随机特征模型中的类别级敏感性结构在多大程度上揭示了统一稳定性的局限性？

主要发现

• 局部弹性稳定性产生指数型泛化界，且随着样本量增加而趋于消失，确保与理论预期的一致性。
• 在神经网络和随机特征模型中，最坏情况敏感性（由$M_\beta$捕捉）最高可达平均情况敏感性（由$\sup_{z'} \mathbb{E}_z \beta(z', z)$捕捉）的29倍，表明统一稳定性高估了敏感性。
• 在CIFAR-10上的两层ReLU网络中，$M_\beta = 3464.97$，而$\sup_{z'} \mathbb{E}_z \beta(z', z) = 22.91$，表明使用依赖于数据分布的界后，敏感性度量降低了150倍。
• 在类别级分析中，一个类别对另一个类别的最大敏感性为3.05（ResNet-18），而平均敏感性仅为1.02，揭示出与局部弹性一致的强对角结构。
• 细粒度分析显示，同一超类内的样本（如猫、狗）的敏感性更高（符号敏感性0.09，绝对值1.92），而跨超类样本（如猫、车）的敏感性更低，证实了标签相关的敏感性模式。
• 在所有测试模型（包括SVM、岭回归和SGD）中，由局部弹性稳定性导出的泛化界均比统一稳定性更紧，这是由于其更好地匹配了实际数据分布的敏感性。