[论文解读] Why Robust Generalization in Deep Learning is Difficult: Perspective of Expressive Power

Binghui Li, Jikai Jin+3 more|arXiv (Cornell University)|May 27, 2022

Machine Learning and Algorithms被引用 6

一句话总结

本文通过分析 ReLU 网络的表达能力，解释了为何尽管鲁棒训练准确率很高，深度学习中的鲁棒泛化仍然困难。它证明了对于数据充分分离的情况，即使标准泛化很容易，实现低鲁棒泛化误差仍需要网络规模随数据维度 d 呈指数增长，揭示了鲁棒学习中存在根本性的表达能力瓶颈。

ABSTRACT

It is well-known that modern neural networks are vulnerable to adversarial examples. To mitigate this problem, a series of robust learning algorithms have been proposed. However, although the robust training error can be near zero via some methods, all existing algorithms lead to a high robust generalization error. In this paper, we provide a theoretical understanding of this puzzling phenomenon from the perspective of expressive power for deep neural networks. Specifically, for binary classification problems with well-separated data, we show that, for ReLU networks, while mild over-parameterization is sufficient for high robust training accuracy, there exists a constant robust generalization gap unless the size of the neural network is exponential in the data dimension $d$. This result holds even if the data is linear separable (which means achieving standard generalization is easy), and more generally for any parameterized function classes as long as their VC dimension is at most polynomial in the number of parameters. Moreover, we establish an improved upper bound of $\exp({\mathcal{O}}(k))$ for the network size to achieve low robust generalization error when the data lies on a manifold with intrinsic dimension $k$ ($k \ll d$). Nonetheless, we also have a lower bound that grows exponentially with respect to $k$ -- the curse of dimensionality is inevitable. By demonstrating an exponential separation between the network size for achieving low robust training and generalization error, our results reveal that the hardness of robust generalization may stem from the expressive power of practical models.

研究动机与目标

• 理解为何尽管鲁棒训练误差接近零，鲁棒泛化误差仍保持较高水平。
• 探究数据可分性和低内在维度是否能缓解鲁棒性泛化差距。
• 分析表达能力（特别是网络规模和 VC 维）在决定鲁棒泛化性能中的作用。
• 在不同数据假设下，建立实现低鲁棒泛化误差所需网络规模的理论下界和上界。

提出的方法

• 使用 VC 维和覆盖数对 ReLU 网络的表达能力进行理论分析，以界定其表达容量。
• 通过构造具有非负 Ricci 曲率的黎曼流形及打包数论证，建立网络规模的下界。
• 应用 Bishop-Gromov 体积比较定理，推导流形中测地球的体积界限。
• 应用 Niyogi-Smale-Weinberger 流形学习框架，将数据几何与泛化性能关联。
• 推导出在 k 维流形上的数据所需的网络规模下界为 Ω((2ε√(d/k))⁻ᵏ/²)。
• 证明了鲁棒泛化误差的普遍下界，除非网络规模随 d 呈指数增长，否则该下界将呈指数级增长。

实验结果

研究问题

• RQ1 为何现有的鲁棒训练方法能实现近乎完美的鲁棒训练准确率，却无法实现鲁棒泛化？
• RQ2 数据可分性或低内在维度能否降低实现鲁棒泛化所需的网络规模？
• RQ3 鲁棒泛化差距是否本质上源于深度网络表达能力的局限？
• RQ4 在高维空间中，对于可分数据，实现低鲁棒泛化误差所需的最小网络规模是多少？
• RQ5 数据的内在维度 k 如何影响实现鲁棒泛化所需的网络规模？

主要发现

• 对于 d 维空间中充分分离的数据，即使标准泛化极为简单，实现低鲁棒泛化误差仍需要 ReLU 网络规模随 d 呈指数增长。
• 除非网络规模随数据维度 d 呈指数增长，否则鲁棒泛化差距不可避免，无论数据是否可分。
• 当数据位于 k 维流形上且 k ≪ d 时，实现低鲁棒泛化误差所需的网络规模上界为 exp(O(k))，表明其在内在维度上具有更好的可扩展性。
• 匹配的下界表明，除非网络规模随 k 呈指数增长，否则鲁棒泛化误差仍会很高，表明存在固有的维度灾难。
• 即使在可分性和低内在维度等有利数据条件下，实际模型的表达能力仍不足以弥合鲁棒泛化差距。
• 本文建立了实现低鲁棒训练误差与实现低鲁棒泛化误差所需网络规模之间的指数级分离，解释了鲁棒深度学习中的核心困难。