[论文解读] Robustness of Deep ReLU Networks to Misclassification of High-Dimensional Data

Věra Kůrková|arXiv (Cornell University)|Feb 21, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

论文分析深度ReLU网络对随机输入扰动的局部鲁棒性，给出随输入维度增长而增大且对网络规模弱相关的概率性下界，用以抵抗错分类；同时刻画在对抗模式出现概率较高的输入区域。

ABSTRACT

We present a theoretical study of the robustness of parameterized networks to random input perturbations. Specifically, we analyze local robustness at a given network input by quantifying the probability that a small additive random perturbation of the input leads to misclassification. For deep networks with rectified linear units, we derive lower bounds on local robustness in terms of the input dimensionality and the total number of network units.

研究动机与目标

• 激发对参数化网络对随机输入扰动的鲁棒性研究。
• 建立一个概率框架，以量化在给定输入处的局部鲁棒性。
• 推导依赖输入维度和网络规模的局部鲁棒性下界。
• 表征深度ReLU网络输入–输出集合的几何结构。
• 讨论对抗模式的含义以及高维数据处理中的影响。

提出的方法

• 在扰动大小为r时，定义输入x处的局部鲁棒性为在随机扰动下保持同一类别的概率。
• 分析一个单一的Heaviside感知器以利用高维球面浓缩结果推导几何界。
• 通过并集界扩展到n个Heaviside感知器的浅层网络。
• 证明深度ReLU网络在凸分区上诱导一个分段常数的I/O函数，每个区域最多有n个面（n为总单位数）。
• 利用高维球面上的测度集中性来界定跨区域的错分类概率并导出关于d的指数下界。
• 表明鲁棒性下界取决于总单位数n以及到分区边界的距离a(x)。

实验结果

研究问题

• RQ1 输入维度d如何影响参数化的深度ReLU网络在随机扰动下的局部鲁棒性？
• RQ2 是否可以推导出对错分类概率的概率下界，这些下界依赖于维度但与深度无关？
• RQ3 深度ReLU网络将输入空间分割出的几何结构是什么，且这与鲁棒性有何关系？
• RQ4 在高维下随机测试时，在何种条件下对抗模式不太可能出现？
• RQ5 哪些输入最易错分类，如何通过网络的几何分割来识别它们？

主要发现

• 局部鲁棒性下界对绝大多数输入随输入维度的增加而快速上升，且对总单位数的影响有限。
• 对于单一Heaviside感知器，当a(x) < r时，鲁棒性超过1 - exp(-a(x)^2 d / (2 r^2))。
• 在浅层网络中，鲁棒性的下界为1 - n exp(-a(x)^2 d / (2 r^2))。
• 深度ReLU网络将R^d划分为凸区域，区域内最多有n个面，其中n为总单位数。
• 对于远离分区边界集H的输入，鲁棒性随d指数增长，前提是n仅以多项式方式增长。
• 结果意味着在高维下随机测试时对抗样本不太可能出现，并识别出可能包含对抗模式的输入。