[论文解读] secml: A Python Library for Secure and Explainable Machine Learning.

Marco Melis, Ambra Demontis+3 more|arXiv (Cornell University)|Dec 20, 2019

Adversarial Robustness in Machine Learning参考文献 14被引用 35

一句话总结

secml 是一个开源的 Python 库，通过实现白盒和黑盒对抗性攻击（如规避攻击和投毒攻击），支持对深度神经网络和 SVM 等模型进行安全且可解释的机器学习。它通过性能下降曲线支持安全评估，并通过特征和原型可视化解释模型决策，从而增强模型的可解释性和鲁棒性评估。

ABSTRACT

We present secml, an open-source Python library for secure and explainable machine learning. It implements the most popular attacks against machine learning, including not only test-time evasion attacks to generate adversarial examples against deep neural networks, but also training-time poisoning attacks against support vector machines and many other algorithms. These attacks enable evaluating the security of learning algorithms and of the corresponding defenses under both white-box and black-box threat models. To this end, secml provides built-in functions to compute security evaluation curves, showing how quickly classification performance decreases against increasing adversarial perturbations of the input data. secml also includes explainability methods to help understand why adversarial attacks succeed against a given model, by visualizing the most influential features and training prototypes contributing to each decision. It is distributed under the Apache License 2.0, and hosted at this https URL.

研究动机与目标

• 提供一个统一的开源平台，用于评估机器学习模型在对抗性攻击下的安全性。
• 支持在多种算法（包括深度神经网络和 SVM）上进行测试时的规避攻击和训练时的投毒攻击。
• 通过定量的性能下降曲线，在白盒和黑盒威胁模型下实现安全评估。
• 通过识别影响每个预测结果的最关键特征和训练原型，增强模型的可解释性。
• 通过可复现的攻击与评估工作流，促进鲁棒机器学习防御的开发与基准测试。

提出的方法

• 实现针对深度神经网络和 SVM 的对抗性攻击算法，包括规避和投毒变体。
• 支持白盒和黑盒威胁模型，实现灵活的安全评估。
• 集成内置函数，计算安全评估曲线，量化在不同扰动水平下的性能下降。
• 整合可解释性技术，可视化每个预测中最具影响力的特征和训练原型。
• 采用 Apache 许可证 2.0，确保研究人员和实践者能够自由访问和扩展。
• 设计模块化、可扩展的架构，支持新攻击、防御和可解释性方法的集成。

实验结果

研究问题

• RQ1 在不同扰动水平下，对抗性攻击对深度神经网络和 SVM 性能的降级效果如何？
• RQ2 在存在对抗性样本的情况下，哪些关键特征和训练原型最能解释模型的预测结果？
• RQ3 不同类型的攻击（规避攻击 vs. 投毒攻击）如何影响多种机器学习算法的模型鲁棒性？
• RQ4 安全评估曲线在多大程度上能量化模型对对抗性扰动的脆弱性？
• RQ5 可解释性方法在多大程度上能提升对模型在对抗条件下失效原因的理解？

主要发现

• secml 通过在不断增加的对抗性扰动下自动生成性能下降曲线，实现了对模型安全性的系统化评估。
• 该库成功捕捉了分类准确率随扰动强度增加而下降的趋势，为模型脆弱性提供了定量度量。
• secml 中的可解释性功能识别出对模型决策贡献最大的输入特征和训练原型，有助于对抗失败的根本原因分析。
• 同时集成规避攻击和投毒攻击，支持在不同威胁模型和学习算法下进行全面的安全测试。
• 开源且采用 Apache 2.0 许可证的设计，促进了对抗性机器学习和模型可解释性领域未来研究的可复现性和可扩展性。