[论文解读] Understanding the One-Pixel Attack: Propagation Maps and Locality Analysis

Danilo Vargas, Jiawei Su|arXiv (Cornell University)|Feb 8, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用 25

一句话总结

本文提出传播图（Propagation Maps），一种新颖的技术，用于可视化和量化单像素扰动在深度神经网络中传播的过程，揭示即使是最小的局部变化也能在全球范围内显著影响最终预测。分析表明，真正的脆弱性并不在于单个神经元或像素，而在于共享的感受野，这解释了为何在相似网络架构中，单像素攻击的成功率极高。

ABSTRACT

Deep neural networks were shown to be vulnerable to single pixel modifications. However, the reason behind such phenomena has never been elucidated. Here, we propose Propagation Maps which show the influence of the perturbation in each layer of the network. Propagation Maps reveal that even in extremely deep networks such as Resnet, modification in one pixel easily propagates until the last layer. In fact, this initial local perturbation is also shown to spread becoming a global one and reaching absolute difference values that are close to the maximum value of the original feature maps in a given layer. Moreover, we do a locality analysis in which we demonstrate that nearby pixels of the perturbed one in the one-pixel attack tend to share the same vulnerability, revealing that the main vulnerability lies in neither neurons nor pixels but receptive fields. Hopefully, the analysis conducted in this work together with a new technique called propagation maps shall shed light into the inner workings of other adversarial samples and be the basis of new defense systems to come.

研究动机与目标

• 理解单像素攻击的底层机制，这是一种高效但尚不明确的对抗性攻击。
• 研究为何单像素扰动尽管尺寸极小，仍能导致深度神经网络的误分类。
• 确定脆弱性源于神经元、像素，还是结构组件（如感受野）。
• 开发一种新的可视化技术，以追踪扰动在各网络层中的影响。
• 探索扰动传播与显著性图之间的关系，提出关于对抗鲁棒性的新假设。

提出的方法

• 通过测量每个层中干净输入与扰动输入的特征图之间的绝对差值来计算传播图（PMmax）。
• 该方法利用前向传播追踪单像素扰动对所有层激活的影响，揭示影响的幅度和空间传播范围。
• 通过将相同扰动幅度施加于成功单像素攻击位置的邻近像素，进行局部性分析，以评估成功率的相似性。
• 对多个成功和失败的攻击进行传播图的统计分析，以比较影响模式。
• 基于传播图与显著性图之间观察到的相似性，提出冲突显著性假设，认为对抗样本会干扰注意力机制。
• 在ResNet及其他深度网络上进行实验，以验证传播行为与脆弱性模式。

实验结果

研究问题

• RQ1 单像素扰动如何在深度神经网络的各层中传播，其影响是增强还是减弱？
• RQ2 为何单像素攻击在非常深的网络（如ResNet）中也频繁成功？
• RQ3 单像素攻击的脆弱性是源于特定神经元、像素，还是结构组件（如感受野）？
• RQ4 在影响幅度和分布方面，成功与失败的攻击是否表现出相似的传播模式？
• RQ5 是否可以通过注意力干扰的视角理解对抗扰动的行为，如冲突显著性假设所建议？

主要发现

• 传播图显示，单像素扰动的影响可显著增强并在特征图中扩散，其绝对差值可达到某一层中原始激活值的最大值水平。
• 即使在ResNet等深层网络中，单像素扰动的影响仍能有效传播至所有层，表明存在强烈的信号放大与扩散。
• 成功单像素攻击位置的邻近像素也表现出相似的高成功率，表明脆弱性并非局限于特定像素或神经元。
• 分析证实，感受野（被多个像素共享）是主要脆弱源，因为邻近像素在不同模型中表现出相似的攻击成功率。
• 成功与失败的攻击在影响幅度和空间分布方面表现出惊人相似的传播模式，表明成功率并非仅由影响规模决定。
• 传播图与显著性图之间观察到的相似性支持了冲突显著性假设，暗示对抗样本可能通过制造冲突的显著性信号来干扰注意力机制。