[论文解读] Robustness Implies Generalization via Data-Dependent Generalization Bounds

Kenji Kawaguchi, Zhun Deng+2 more|arXiv (Cornell University)|Jun 27, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

该论文通过新颖的数据相关泛化界，建立了鲁棒性蕴含泛化性的关系，消除了对假设空间的依赖，并显著降低了对覆盖数 K 的依赖。通过引入针对多项式随机变量的改进集中不等式，并利用随机投影构建自适应划分，作者在 Lasso 和深度学习模型中实现了接近指数级的泛化界改进，其有效性在真实世界数据和理论模型上均得到验证。

ABSTRACT

This paper proves that robustness implies generalization via data-dependent generalization bounds. As a result, robustness and generalization are shown to be connected closely in a data-dependent manner. Our bounds improve previous bounds in two directions, to solve an open problem that has seen little development since 2010. The first is to reduce the dependence on the covering number. The second is to remove the dependence on the hypothesis space. We present several examples, including ones for lasso and deep learning, in which our bounds are provably preferable. The experiments on real-world data and theoretical models demonstrate near-exponential improvements in various situations. To achieve these improvements, we do not require additional assumptions on the unknown distribution; instead, we only incorporate an observable and computable property of the training samples. A key technical innovation is an improved concentration bound for multinomial random variables that is of independent interest beyond robustness and generalization.

研究动机与目标

• 解决自 2010 年以来算法鲁棒性界中对覆盖数 K 的平方根依赖这一长期开放问题。
• 消除对假设空间的依赖，从而提升先前泛化界的应用范围。
• 构建一个数据相关的框架，利用训练样本的可观测、可计算属性来改进泛化保证。
• 在高维设置下，为鲁棒性与泛化性之间的联系提供更紧致的可证明边界，尤其适用于深度学习和 Lasso 模型。
• 提出一种针对多项式随机变量的新集中不等式，其本身在泛化理论之外也具有独立兴趣。

提出的方法

• 提出一种数据相关的泛化界，用基于随机投影的改进、自适应划分方案替代标准的依赖 K 的项。
• 使用随机矩阵投影将高维输入空间映射到低维空间，然后在投影空间上应用 ε-覆盖以定义预划分。
• 将最终划分定义为投影空间覆盖的原像，从而相比直接覆盖原始空间，显著降低 K 的依赖。
• 提出一种针对多项式随机变量的新集中不等式，将对 K 的依赖从 √K 降低至对数或次多项式项。
• 将改进的集中不等式应用于推导更紧致的泛化误差界，其依赖于 ε(S) 和 K 的简化函数，而非 √K。
• 使用真实世界数据集（如 Semeion、MNIST）和合成模型验证该方法，比较不同数据分布下 K 与泛化误差的表现。

实验结果

研究问题

• RQ1 在算法鲁棒性相关的泛化界中，能否在不增加对数据分布额外假设的前提下，显著降低对覆盖数 K 的依赖？
• RQ2 去除对假设空间的依赖是否能带来更紧致且更实用的高维学习问题泛化界？
• RQ3 能否利用随机投影构建自适应划分，从而实现比标准 ε-覆盖更优的可证明泛化界？
• RQ4 所提出的多项式随机变量集中不等式在 K 依赖性和适用性方面是否优于现有方法？
• RQ5 在真实世界中的深度学习和 Lasso 模型中，新的数据相关边界是否优于先前的边界？

主要发现

• 所提出的泛化界在 K 依赖性方面实现了接近指数级的改进，尤其在高维设置下表现显著。
• 边界消除了对假设空间的依赖，使其适用于更广泛的模型类别，包括深度神经网络和 Lasso 模型。
• 在真实世界数据和合成模型上的实验表明，新边界在可证明意义上更紧致且更优。
• 利用随机投影定义划分的方式，相比直接覆盖输入空间，显著降低了 K 的依赖，尤其在维度 d 增大时更为明显。
• 对多项式变量改进的集中不等式将 K 依赖性从 √K 降低至次多项式或对数项，解决了长期存在的开放问题。
• 该方法在 Lasso 和深度学习模型中实现了更紧致的泛化界，实证验证显示在多个数据集和分布上均表现出一致的改进。