[论文解读] The use of machine learning with signal- and NLP processing of source code to fingerprint, detect, and classify vulnerabilities and weaknesses with MARFCAT

Serguei A. Mokhov|arXiv (Cornell University)|Oct 12, 2010

Advanced Malware Detection Techniques参考文献 16被引用 14

一句话总结

本文提出 MARFCAT，一种基于机器学习的静态代码分析工具，结合信号处理与自然语言处理（NLP）技术，对 C、C++ 和 Java 代码中的软件漏洞与弱点进行指纹识别、检测与分类。通过将源代码视为信号并利用 MARF 框架，MARFCAT 在多个软件项目中实现了对 CVE 和 CWE 漏洞的高精度检测，其结果已在 SATE 2010 研讨会提供的真实案例中得到验证。

ABSTRACT

We present a machine learning approach to static code analysis and fingerprinting for weaknesses related to security, software engineering, and others using the open-source MARF framework and the MARFCAT application based on it for the NIST's SATE2010 static analysis tool exposition workshop found at http://samate.nist.gov/SATE2010Workshop.html

研究动机与目标

• 开发一种与语言无关、基于机器学习的源代码漏洞检测与分类方法，无需解析代码结构。
• 解决在信号处理过程中保留行号信息的挑战，这对于生成可操作的漏洞报告至关重要。
• 在 SATE 2010 研讨会提供的真实漏洞软件实例（包括 Wireshark、Chrome 和 Tomcat）上验证该方法。
• 实现对已知漏洞（CVE/CWE）的自动化检测，并评估修补版本中修复的有效性。
• 证明将信号处理与 NLP 技术应用于源代码，可实现可扩展、快速且可扩展的静态分析。

提出的方法

• 使用 n-gram（n=2）将源代码视为一维信号，将其转换为可用于信号处理的数值波形。
• 应用谱分析与 NLP 技术从代码信号中提取模式，避免进行语法或语义解析。
• 利用 MARF 框架实现信号处理与机器学习算法的流水线，用于分类任务。
• 采用机器学习方法推断漏洞的行号，以补偿信号转换过程中丢失的行号信息。
• 在包含已知漏洞（CVE/CWE）的完整文件上进行训练，以判断新代码是否含有漏洞。
• 利用现有的 CVE 与 CWE 数据库作为知识库，将检测到的模式映射到已知漏洞。

实验结果

研究问题

• RQ1 源代码能否被有效建模为信号，以利用机器学习检测安全漏洞？
• RQ2 机器学习在真实软件项目（如 Wireshark、Chrome 和 Tomcat）中，能否高精度识别已知漏洞（CVE 与 CWE）？
• RQ3 尽管信号处理过程可能过滤掉行号信息，系统能否成功恢复漏洞的行号？
• RQ4 该方法在多大程度上实现与语言无关，并可扩展至不同编程语言及二进制格式？
• RQ5 该方法能否用于预扫描代码库，标记潜在漏洞以供进一步深入分析？

主要发现

• MARFCAT 在 Wireshark 1.2.0、Chrome 5.0.375.54 和 Tomcat 5.5.13 中成功检测出已知的 CVE 与 CWE 漏洞，且精度极高。
• 系统正确识别了漏洞软件的修复版本，如 Wireshark 1.2.9 和 Tomcat 5.5.29，证实了修复的有效性。
• 通过专门设计的机器学习与数学估算方法，成功实现了行号恢复，显著提升了报告的可用性。
• 该工具在普通台式机上处理约 2,400 个 Wireshark 文件的时间不足 3 分钟，展现出极高的处理速度。
• 该方法在 C、C++ 和 Java 等不同编程语言间表现出强大的泛化能力，无需语言特定的解析或配置。
• 该方法在二进制与字节码分析方面也展现出潜力，可实现类似病毒扫描的方式，检测已部署软件中的安全弱点。