[论文解读] Performance Evaluation of Adversarial Attacks: Discrepancies and Solutions

Jing Wu, Mingyi Zhou+4 more|arXiv (Cornell University)|Apr 22, 2021

Adversarial Robustness in Machine Learning参考文献 40被引用 5

一句话总结

该论文提出了分段采样曲线（Piece-wise Sampling Curving, PSC）框架，通过在扰动范围上生成平滑且全面的性能曲线，并使用曲线下方面积（AUC）进行公平比较，从而标准化对抗性攻击评估。该方法通过支持一致、可调节分辨率的采样与拟合，减少了攻击基准测试中的差异。实证结果表明，该方法在基于梯度、基于查询和基于决策的攻击中均提升了性能评估的可靠性并降低了偏差。

ABSTRACT

Recently, adversarial attack methods have been developed to challenge the robustness of machine learning models. However, mainstream evaluation criteria experience limitations, even yielding discrepancies among results under different settings. By examining various attack algorithms, including gradient-based and query-based attacks, we notice the lack of a consensus on a uniform standard for unbiased performance evaluation. Accordingly, we propose a Piece-wise Sampling Curving (PSC) toolkit to effectively address the aforementioned discrepancy, by generating a comprehensive comparison among adversaries in a given range. In addition, the PSC toolkit offers options for balancing the computational cost and evaluation effectiveness. Experimental results demonstrate our PSC toolkit presents comprehensive comparisons of attack algorithms, significantly reducing discrepancies in practice.

研究动机与目标

• 识别并解决当前对抗性攻击评估方法中导致不同研究得出矛盾结论的不一致性问题。
• 提出一种统一、可复现的评估框架，标准化不同类型攻击（基于梯度、基于查询、基于决策）之间的性能比较。
• 通过在曲线生成过程中配置分辨率和拟合阶数，平衡计算成本与评估效果。
• 提供一个工具包，使研究人员能够使用标准化指标（如AUC）在不同扰动范围内一致地比较攻击性能。

提出的方法

• PSC框架通过将扰动范围ε划分为r个离散区间，每个区间内选取一个最优攻击结果，以确保性能的最大化表示。
• 采用多项式拟合（默认阶数为5）或采样点之间的直线连接，生成平滑且可比的曲线，适用于不同攻击方法。
• 在定义的ε范围内计算曲线下方面积（AUC），以定量排名攻击性能，AUC越高表示整体鲁棒性越优。
• 该框架支持二维和三维比较，可适应不同攻击类型所对应的可测量指标（如L2距离、查询次数、成功率）。
• 支持可配置的分辨率r，以在计算成本与曲线保真度之间取得平衡，并提供最优拟合阶数和采样策略的建议。
• 发布公开工具包，允许用户上传结果，并在标准化设置下比较不同攻击。

实验结果

研究问题

• RQ1 为何即使在实验流程正确的情况下，研究之间仍会对攻击性能得出矛盾的结论？
• RQ2 如何通过标准化评估框架减少不同攻击类型和设置下对抗性攻击基准测试中的差异？
• RQ3 在基于曲线的攻击比较中，计算成本与评估准确性的最佳平衡点是什么？
• RQ4 当攻击指标不同时（如查询次数、距离、成功率），如何实现性能的一致性度量？

主要发现

• PSC框架通过用平滑的AUC曲线分析替代点对点比较，显著减少了攻击评估中的差异。
• 使用AUC作为指标，可在不同扰动范围和攻击类型之间实现一致且可量化的性能排名。
• 当分辨率设置为r=5且采用5阶多项式拟合时，可在曲线平滑度与计算成本之间取得良好平衡，避免欠拟合或过拟合。
• 该框架能有效处理多种攻击类型，包括基于梯度、基于得分和基于决策的攻击，并通过适当的指标适配实现良好性能。
• 在MNIST、CIFAR-10和ImageNet上的实证结果表明，与传统的点对点比较或非标准化曲线方法相比，PSC能实现更可靠、可复现的比较。