[论文解读] When LLMs Meet Cybersecurity: A Systematic Literature Review

Jie Zhang, H. Bu+8 more|arXiv (Cornell University)|May 6, 2024

Cybercrime and Law Enforcement Studies被引用 10

一句话总结

本论文系统性回顾大型语言模型（LLMs）在网络安全领域的构建与应用，分析了超过180篇论文、涵盖25种LLMs与10个以上任务，并概述了挑战与未来方向。

ABSTRACT

The rapid development of large language models (LLMs) has opened new avenues across various fields, including cybersecurity, which faces an evolving threat landscape and demand for innovative technologies. Despite initial explorations into the application of LLMs in cybersecurity, there is a lack of a comprehensive overview of this research area. This paper addresses this gap by providing a systematic literature review, covering the analysis of over 300 works, encompassing 25 LLMs and more than 10 downstream scenarios. Our comprehensive overview addresses three key research questions: the construction of cybersecurity-oriented LLMs, the application of LLMs to various cybersecurity tasks, the challenges and further research in this area. This study aims to shed light on the extensive potential of LLMs in enhancing cybersecurity practices and serve as a valuable resource for applying LLMs in this field. We also maintain and regularly update a list of practical guides on LLMs for cybersecurity at https://github.com/tmylla/Awesome-LLM4Cybersecurity.

研究动机与目标

• 使用 CPT、SFT 与 PEFT 技术，对面向网络安全的领域LLM 的构建进行调查。
• 目录化并分析LLMs在网络安全中的任务应用（如漏洞检测、安全代码生成、IT 运维、威胁情报等）。
• 识别基线、评估基准和数据资源，以评估LLMs在网络安全方面的能力。
• 突出可复现性、碎片化以及LLM 漏洞等挑战，并提出未来研究方向。

提出的方法

• 对自2023年以来关于网络安全中LLMs的180多篇论文进行系统性文献综述。
• 对LLM 类型（开源 vs 闭源）以及领域与代码聚焦模型进行分类。
• 讨论领域自适应方法：持续预训练（CPT）和有监督微调（SFT），并涵盖全参数微调与参数高效微调（PEFT）变体。
• 通过网络安全基准测试（CyberBench、SecEval、CyberMetric、SecQA、CyberSecEval、PythonSecurityEval、IT-operations 基准等）分析基础模型的选择。
• 检查领域特定的微调工作（如漏洞检测、安全代码生成、程序修复、二进制分析、IT 运维等）。
• 概述模型编辑、提示工程以及构建网络安全LLMs的其他技术。

实验结果

研究问题

• RQ1 RQ1：如何构建面向网络安全的领域LLM？
• RQ2 RQ2：LLMs在网络安全中的潜在应用有哪些？
• RQ3 RQ3：关于在网络安全中应用LLMs的现有挑战与未来研究方向有哪些？

主要发现

• 通过对通用模型进行领域数据的微调，并结合 CPT 和 SFT，LLMs 可以适应网络安全领域，PEFT 方法提供了高效的替代方案。
• 大量网络安全任务可从LLMs获益，包括威胁情报、漏洞检测、代码生成、程序修复、二进制分析、IT 运维以及异常检测。
• 基准套件（CyberBench、SecEval、CyberMetric、SecQA、SecureCodeEval 等）支持评估LLMs在网络安全方面的能力并辅助基础模型选择。
• 经过微调的领域LLMs（如 SecureCoder、SafeCoder、Hackmentor、Owl）在针对性网络安全任务上表现出改进。
• 在可复现性、研究碎片化、模型漏洞以及潜在的面向LLM的攻击方面存在显著挑战，未来方向建议走向更强、更一体化的研究。