[论文解读] Stack-based Buffer Overflow Detection using Recurrent Neural Networks

William Arild Dahl, László Erdődi+1 more|arXiv (Cornell University)|Dec 30, 2020

Anomaly Detection Techniques and Applications参考文献 19被引用 8

一句话总结

本文提出使用长短期记忆（LSTM）循环神经网络，将汇编代码视为自然语言，以检测基于栈的缓冲区溢出漏洞。该模型在合成数据集上实现了99.00%的正确分类率，证明RNN能够有效学习低级代码中的上下文模式，从而识别细微的缓冲区溢出缺陷。

ABSTRACT

Detecting vulnerabilities in software is a critical challenge in the development and deployment of applications. One of the most known and dangerous vulnerabilities is stack-based buffer overflows, which may allow potential attackers to execute malicious code. In this paper we consider the use of modern machine learning models, specifically recurrent neural networks, to detect stack-based buffer overflow vulnerabilities in the assembly code of a program. Since assembly code is a generic and common representation, focusing on this language allows us to potentially consider programs written in several different programming languages. Moreover, we subscribe to the hypothesis that code may be treated as natural language, and thus we process assembly code using standard architectures commonly employed in natural language processing. We perform a set of experiments aimed at confirming the validity of the natural language hypothesis and the feasibility of using recurrent neural networks for detecting vulnerabilities. Our results show that our architecture is able to capture subtle stack-based buffer overflow vulnerabilities that strongly depend on the context, thus suggesting that this approach may be extended to real-world setting, as well as to other forms of vulnerability detection.

研究动机与目标

• 研究汇编代码是否可被视作自然语言，以利用机器学习进行漏洞检测。
• 评估循环神经网络（RNN）在二进制代码中检测基于栈的缓冲区溢出漏洞的可行性。
• 评估RNN是否能够捕捉识别细微缓冲区溢出缺陷所必需的上下文依赖模式。
• 建立一种基于NLP启发模型在低级软件安全分析中应用的可行性概念验证。

提出的方法

• 作者使用长短期记忆（LSTM）网络——一种循环神经网络——来处理汇编指令序列。
• 汇编代码在输入LSTM架构前被分词并嵌入为密集向量表示。
• 采用两层LSTM模型，批量大小为80，学习率为$5 \cdot 10^{-5}$，使用二元交叉熵损失进行分类训练。
• 模型在自动生成的汇编代码样本数据集上进行训练，包含有漏洞和无漏洞的函数。
• 通过超参数调优优化模型性能，重点关注学习率和批量大小。
• 使用正确分类率（CCR）和损失等分类指标在测试集上评估模型。

实验结果

研究问题

• RQ1 汇编代码是否可被有效建模为类似自然语言的标记序列，从而支持NLP技术的应用？
• RQ2 基于LSTM的模型能否检测汇编代码中上下文敏感的基于栈的缓冲区溢出漏洞？
• RQ3 模型深度（例如，单层与双层LSTM）在此任务上的检测性能有何影响？
• RQ4 哪些超参数设置（学习率、批量大小）能为该漏洞检测任务提供最佳性能？

主要发现

• 两层LSTM模型在测试集上实现了99.00%的正确分类率（CCR），表明其具备强大的泛化能力。
• 模型在约17,500个训练步骤后性能显著提升，突破了训练平台。
• 在相同训练约束下，两层LSTM配置优于浅层的一层架构。
• 模型在检测复杂代码样本中的上下文依赖型缓冲区溢出模式方面表现出强鲁棒性。
• 较低的学习率（$5 \cdot 10^{-5}$）对于实现稳定收敛和高性能至关重要。
• 结果支持代码可被视为语言的假设，从而通过序列建模实现有效的漏洞检测。