[论文解读] Threat Assessment in Machine Learning based Systems

Lionel Nganyewou Tidjon, Foutse Khomh|arXiv (Cornell University)|Jun 30, 2022

Adversarial Robustness in Machine Learning被引用 15

一句话总结

本文利用来自 MITRE ATLAS、AI 事件数据库以及 854 个机器学习代码库的真实世界攻击数据，对机器学习系统进行了实证威胁评估。研究识别出卷积神经网络（CNNs）以及 TensorFlow 和 OpenCV 等库是最常被针对的目标，映射了机器学习生命周期各阶段的威胁战术、技术与程序（TTPs），并提出了一套多层缓解矩阵，以指导从业者、红队/蓝队及研究人员制定防御策略。

ABSTRACT

Machine learning is a field of artificial intelligence (AI) that is becoming essential for several critical systems, making it a good target for threat actors. Threat actors exploit different Tactics, Techniques, and Procedures (TTPs) against the confidentiality, integrity, and availability of Machine Learning (ML) systems. During the ML cycle, they exploit adversarial TTPs to poison data and fool ML-based systems. In recent years, multiple security practices have been proposed for traditional systems but they are not enough to cope with the nature of ML-based systems. In this paper, we conduct an empirical study of threats reported against ML-based systems with the aim to understand and characterize the nature of ML threats and identify common mitigation strategies. The study is based on 89 real-world ML attack scenarios from the MITRE's ATLAS database, the AI Incident Database, and the literature; 854 ML repositories from the GitHub search and the Python Packaging Advisory database, selected based on their reputation. Attacks from the AI Incident Database and the literature are used to identify vulnerabilities and new types of threats that were not documented in ATLAS. Results show that convolutional neural networks were one of the most targeted models among the attack scenarios. ML repositories with the largest vulnerability prominence include TensorFlow, OpenCV, and Notebook. In this paper, we also report the most frequent vulnerabilities in the studied ML repositories, the most targeted ML phases and models, the most used TTPs in ML phases and attack scenarios. This information is particularly important for red/blue teams to better conduct attacks/defenses, for practitioners to prevent threats during ML development, and for researchers to develop efficient defense mechanisms.

研究动机与目标

• 解决缺乏专为机器学习系统量身定制的全面威胁评估框架的问题。
• 识别并描述现实世界中针对机器学习系统在生命周期各阶段的威胁。
• 分析流行机器学习代码库及其依赖项中的漏洞，以预测潜在的攻击面。
• 通过 AI 事件数据库和文献中的新 TTPs 扩展现有的威胁数据库（如 ATLAS）。
• 开发一套多层缓解矩阵，整合标准安全实践与机器学习特异性防御措施，以支持实际部署。

提出的方法

• 从 MITRE 的 ATLAS、AI 事件数据库及学术文献中收集了 89 个真实世界的机器学习攻击场景。
• 对来自 GitHub 和 Python Packaging Advisory (PyPA) 数据库的 854 个高声誉机器学习代码库进行了漏洞挖掘。
• 将威胁 TTPs 映射到机器学习生命周期阶段（数据收集、训练、推理、测试）、模型（如 CNNs）和工具（如 TensorFlow、OpenCV）上。
• 识别并分析导致漏洞的依赖项，重点关注 log4j、pickle 和 joblib 等高风险库。
• 通过将 NIST、云安全联盟及标准安全框架中的安全控制措施映射到特定威胁类型和机器学习组件，构建了多层机器学习缓解矩阵。
• 使用自然语言处理与模式匹配技术，从问题线程和安全通告中提取 CVE 和 TTPs，并通过人工验证以减少漏报。

实验结果

研究问题

• RQ1 在真实世界攻击中，哪些机器学习模型和组件最常被针对？
• RQ2 在机器学习系统被攻陷的案例中，最常使用的威胁战术、技术和程序（TTPs）是什么？
• RQ3 哪些机器学习库及其依赖项表现出最高的漏洞显著性并构成最大风险？
• RQ4 传统安全控制措施与机器学习特异性防御措施在多大程度上与机器学习生命周期中的真实威胁模式相匹配？
• RQ5 从 AI 事件数据库和文献中可提取出哪些新的 TTPs，以扩展现有威胁知识库（如 ATLAS）？

主要发现

• 卷积神经网络（CNNs）在真实世界的攻击场景中是最常被针对的机器学习模型之一。
• 最常被利用的机器学习阶段是训练、推理和数据收集，测试阶段也逐渐显现出高风险特征。
• TensorFlow、OpenCV 和 Jupyter Notebook（Notebook）是漏洞显著性最高的机器学习代码库。
• log4j、pickle、joblib、numpy116 和 python3.9.1 等关键依赖项导致了相当大比例的漏洞。
• 缓冲区溢出和拒绝服务（DoS）攻击是在机器学习代码库中发现的最常见漏洞类型。
• 本研究识别出 32 个新的攻击场景（17 种技术，13 种战术），为 MITRE ATLAS 数据库补充了此前未记录的机器学习威胁 TTPs。