[论文解读] Summoning Demons: The Pursuit of Exploitable Bugs in Machine Learning

Rock Stevens, Octavian Suciu+4 more|arXiv (Cornell University)|Jan 17, 2017

Adversarial Robustness in Machine Learning参考文献 19被引用 11

一句话总结

本文提出了一种名为受控模糊测试（steered fuzzing）的半自动化技术，通过探测机器学习系统的攻击面，发现可利用的实现级漏洞。该方法揭示了比传统输入扰动技术更具威力的对抗性攻击，共披露了五个漏洞，并新增了三个CVE-ID。

ABSTRACT

Governments and businesses increasingly rely on data analytics and machine learning (ML) for improving their competitive edge in areas such as consumer satisfaction, threat intelligence, decision making, and product efficiency. However, by cleverly corrupting a subset of data used as input to a target's ML algorithms, an adversary can perturb outcomes and compromise the effectiveness of ML technology. While prior work in the field of adversarial machine learning has studied the impact of input manipulation on correct ML algorithms, we consider the exploitation of bugs in ML implementations. In this paper, we characterize the attack surface of ML programs, and we show that malicious inputs exploiting implementation bugs enable strictly more powerful attacks than the classic adversarial machine learning techniques. We propose a semi-automated technique, called steered fuzzing, for exploring this attack surface and for discovering exploitable bugs in machine learning programs, in order to demonstrate the magnitude of this threat. As a result of our work, we responsibly disclosed five vulnerabilities, established three new CVE-IDs, and illuminated a common insecure practice across many machine learning systems. Finally, we outline several research directions for further understanding and mitigating this threat.

研究动机与目标

• 刻画由实现级错误而非算法缺陷引发的机器学习程序攻击面。
• 证明机器学习实现中的漏洞可使对抗性攻击比经典输入扰动技术更具威力。
• 开发并评估一种半自动化技术——受控模糊测试，以系统化地探索和发现机器学习系统中的可利用漏洞。
• 负责任地披露漏洞，并识别机器学习系统中普遍存在的不安全实践。

提出的方法

• 通过分析机器学习库和框架中的实现级错误如何被利用，定义机器学习程序的攻击面。
• 设计受控模糊测试技术，结合符号执行与反馈驱动的变异，引导模糊测试器输入以触发可利用行为。
• 对机器学习程序进行插桩，以监控异常行为，如崩溃、错误输出或意外控制流。
• 利用运行时反馈，引导模糊测试器向能暴露机器学习推理与训练流水线漏洞的输入方向推进。
• 将机器学习操作（如张量运算、梯度计算）的领域特定知识集成到模糊测试器中，以提高漏洞利用的可能性。
• 通过在真实世界机器学习系统上应用该技术，验证其有效性，并识别出此前未知的漏洞。

实验结果

研究问题

• RQ1 机器学习系统中由实现级错误引入的攻击面的范围和性质是什么？
• RQ2 机器学习实现中的错误如何使对抗性攻击比传统输入扰动方法更具威力？
• RQ3 像受控模糊测试这样的半自动化技术能否在大规模上有效发现机器学习程序中的可利用漏洞？
• RQ4 在多个机器学习系统中普遍存在的、增加漏洞风险的不安全编码实践有哪些？

主要发现

• 受控模糊测试成功在真实世界机器学习系统中发现了五个此前未知的漏洞。
• 所发现的漏洞被分配了三个新的CVE-ID，证实了其严重性和可重现性。
• 由实现级错误引入的攻击面，可实现比经典对抗性样本更强大的对抗性操纵。
• 在多个系统中普遍发现一种不安全实践——机器学习库中输入验证不当，显著提高了漏洞的可利用性。
• 该技术在发现标准对抗性鲁棒性测试无法检测到的零日漏洞方面表现出有效性。
• 研究结果凸显了当前机器学习安全实践中的关键缺口，强调了实施级加固的必要性。