[论文解读] The Coming Era of AlphaHacking? A Survey of Automatic Software Vulnerability Detection, Exploitation and Patching Techniques

Tiantian Ji, Yue Wu+3 more|arXiv (Cornell University)|May 28, 2018

Advanced Malware Detection Techniques参考文献 46被引用 5

一句话总结

本文综述了软件漏洞检测、利用和修补的自动化技术，强调了机器学习在实现自主网络推理系统中的作用。它整合了静态、动态和混合分析领域的最先进技术，突出语义模糊测试和可学习修补方法，并指出了未来研究在深层语义理解、基于二进制的机器学习以及开放数据集方面的关键挑战。

ABSTRACT

With the success of the Cyber Grand Challenge (CGC) sponsored by DARPA, the topic of Autonomous Cyber Reasoning System (CRS) has recently attracted extensive attention from both industry and academia. Utilizing automated system to detect, exploit and patch software vulnerabilities seems so attractive because of its scalability and cost-efficiency compared with the human expert based solution. In this paper, we give an extensive survey of former representative works related to the underlying technologies of a CRS, including vulnerability detection, exploitation and patching. As an important supplement, we then review several pioneer studies that explore the potential of machine learning technologies in this field, and point out that the future development of Autonomous CRS is inseparable from machine learning.

研究动机与目标

• 提供对软件漏洞检测、利用和修补自动化技术的全面综述。
• 探讨机器学习在推动自主网络推理系统（CRS）于软件安全领域发展的角色。
• 识别在深层语义理解、基于二进制的机器学习以及漏洞研究缺乏开源数据集方面的关键挑战。
• 突出展示漏洞检测（如 SemFuzz）、利用（如 SemFuzz）和修补（如 ELIXIR、Deepfix）的最先进技术方法。
• 通过阐明机器学习驱动的软件漏洞自动化中的开放挑战与机遇，为未来研究提供指导。

提出的方法

• 将漏洞检测分类为静态、动态和混合分析，重点强调基于图的建模（CFG、DFG、PDG）和抽象解释在数据抽象中的应用。
• 回顾基于语义的模糊测试（SemFuzz），该方法利用CVE和Git日志中的自然语言处理（NLP）提取漏洞语义，并生成概念验证利用代码。
• 分析基于机器学习的修补技术，如ELIXIR（基于机器学习排序的生成与验证方法）和Deepfix（基于GRU的神经修复模型）。
• 评估模型检测和符号执行作为形式化方法在高覆盖率验证中的应用，尽管存在可扩展性问题。
• 整合DARPA网络大挑战（Cyber Grand Challenge）的见解，以界定自主CRS的发展脉络。
• 识别关键的方法论缺口，包括基于二进制的机器学习模型稀缺，以及缺乏类似ImageNet规模的大型、开源漏洞数据集。

实验结果

研究问题

• RQ1 机器学习在多大程度上能够提升软件系统中漏洞检测、利用和修补的自动化水平？
• RQ2 基于静态和动态分析的当前自动化漏洞检测系统的关键技术组件及其局限性是什么？
• RQ3 对漏洞报告和修补代码的语义理解在多大程度上能提升利用生成与修复合成的效率？
• RQ4 将深度学习应用于二进制分析和漏洞检测面临的主要挑战是什么？
• RQ5 如何通过开放、大规模且语义丰富的数据集加速机器学习在自动化软件安全研究中的发展？

主要发现

• SemFuzz通过利用CVE和Git日志数据中的自然语言处理（NLP），在112个Linux内核漏洞（包括零日和未公开漏洞）上实现了16%的检测率。
• ELIXIR通过基于语义特征的机器学习方法对修复候选进行排序，显著扩展了面向面向对象程序的有效修复空间，并提升了修补成功率。
• Deepfix利用训练好的门控循环单元（GRU）模型，在修复6,971个错误程序时表现出高准确率，证明了神经网络在程序修复中的可行性。
• 尽管已有进展，模型检测和基于图的分析仍因状态爆炸和高计算开销而面临可扩展性问题。
• 基于二进制的机器学习仍发展不足，大多数模型针对源代码设计，凸显了关键的研究空白。
• 缺乏开放、大规模且语义丰富的数据集（类似ImageNet）仍是推动机器学习在软件漏洞自动化中发展的主要瓶颈。