[论文解读] Non-Negative Networks Against Adversarial Attacks

William Fleshman, Edward Raff+3 more|arXiv (Cornell University)|Jun 15, 2018

Adversarial Robustness in Machine Learning参考文献 35被引用 16

一句话总结

本文提出在神经网络中使用非负权重约束，以增强对定向对抗攻击的鲁棒性，尤其在二分类任务（如恶意软件和垃圾邮件检测）中表现突出。通过将模型权重限制为非负值，该方法迫使攻击者只能通过移除恶意特征而非添加特征来攻击模型，从而在恶意软件检测中将逃避率降至接近零，在垃圾邮件检测中降至精确的零，同时在图像分类任务中保持高准确率。

ABSTRACT

Adversarial attacks against neural networks are a problem of considerable importance, for which effective defenses are not yet readily available. We make progress toward this problem by showing that non-negative weight constraints can be used to improve resistance in specific scenarios. In particular, we show that they can provide an effective defense for binary classification problems with asymmetric cost, such as malware or spam detection. We also show the potential for non-negativity to be helpful to non-binary problems by applying it to image classification.

研究动机与目标

• 解决在安全关键的二分类任务（如恶意软件和垃圾邮件检测）中针对定向对抗攻击的问题，其中攻击者仅能添加特征（即添加型攻击者）。
• 探究非负权重约束是否可作为此类场景下的有效防御机制，通过限制模型对特定特征的依赖性来实现。
• 将非负约束方法推广至多分类问题（如图像分类），评估其在鲁棒性与准确率之间的权衡。
• 在多个数据集上评估非负网络对强对抗攻击（包括FGSM、IGA和PGD）的有效性。

提出的方法

• 在训练过程中应用非负权重约束，确保所有学习到的权重均为非负值，从而限制模型仅能检测与正类相关的特征。
• 使用定向对抗攻击（如FGSM、IGA）评估鲁棒性，将逃避率作为目标置信度水平的函数进行测量。
• 在MNIST、CIFAR10、CIFAR100和Tiny ImageNet上训练模型，以测试在不同类别复杂度数据集上的泛化能力。
• 通过使用无约束的替代模型生成对抗样本，评估攻击在非负模型上的可迁移性。
• 将置信度阈值（如40%或更低）作为非负模型中潜在对抗输入的检测机制。
• 在多种攻击类型和数据集上，对比带有和不带非负约束的基线模型的性能。

实验结果

研究问题

• RQ1 非负权重约束是否能在恶意软件和垃圾邮件检测等二分类任务中显著降低定向对抗攻击的逃避率？
• RQ2 非负约束技术在多分类图像分类任务中如何泛化？其对鲁棒性和准确率的影响如何？
• RQ3 非负约束机制是否仅为梯度混淆，还是能提供对对抗样本的真实鲁棒性？
• RQ4 非负模型中的置信度阈值是否可作为对抗输入的实用检测机制？
• RQ5 在不同数据集和攻击强度下，应用非负约束时，鲁棒性与准确率之间的权衡如何？

主要发现

• 在定向攻击下，非负网络在垃圾邮件检测中实现了精确的0%逃避率，在恶意软件检测中实现了接近0%的逃避率，表明其具有极强的防御有效性。
• 在MNIST和CIFAR10上，当目标置信度达到30%或以上时，定向攻击失败，表明高置信度预测对逃避具有鲁棒性。
• 在CIFAR100和Tiny ImageNet上，当目标置信度足够高时，定向攻击失败率不超过2%，表明该方法可扩展至更大规模数据集。
• 从无约束替代模型向非负模型发起的迁移攻击成功率仅为1.042%，表明该防御机制并非简单的梯度混淆。
• 在所有多分类数据集上，非负约束导致的准确率下降均不足1%，表明提升鲁棒性所付出的代价极低。
• 尽管在定向攻击下表现出鲁棒性，但非负模型对低置信度错误的敏感性增加，可能源于攻击下概率分布趋于均匀。