[论文解读] SEvenLLM: Benchmarking, Eliciting, and Enhancing Abilities of Large Language Models in Cyber Threat Intelligence

Hangyuan Ji, Jian Yang+10 more|arXiv (Cornell University)|May 6, 2024

Topic Modeling被引用 4

一句话总结

本文提出了 SEvenLLM 框架，通过 LLM 自动化任务选择与人工精炼，构建了一个高质量的中英文双语指令数据集 SEvenLLM-Instruct，用于基准测试、提示工程和增强大语言模型（LLMs）在网络威胁情报（CTI）领域的表现。SEvenLLM 在 28 项多任务目标上进行微调，其在威胁分析与响应方面优于 GPT-3.5 等通用 LLM，该性能通过精心构建的 SEvenLLM-Bench 基准得到验证，展示了其在真实世界网络安全事件理解与响应中的卓越表现。

ABSTRACT

To address the increasing complexity and frequency of cybersecurity incidents emphasized by the recent cybersecurity threat reports with over 10 billion instances, cyber threat intelligence (CTI) plays a critical role in the modern cybersecurity landscape by offering the insights required to understand and combat the constantly evolving nature of cyber threats. Inspired by the powerful capability of large language models (LLMs) in handling complex tasks, in this paper, we introduce a framework to benchmark, elicit, and improve cybersecurity incident analysis and response abilities in LLMs for Security Events (SEvenLLM). Specifically, we create a high-quality bilingual instruction corpus by crawling cybersecurity raw text from cybersecurity websites to overcome the lack of effective data for information extraction. Then, we design a pipeline to auto-select tasks from the tasks pool and convert the raw text into supervised corpora comprised of question and response. The instruction dataset SEvenLLM-Instruct is used to train cybersecurity LLMs with the multi-task learning objective (27 well-designed tasks) for augmenting the analysis of cybersecurity events. Extensive experiments in our curated benchmark (SEvenLLM-bench) demonstrate that SEvenLLM performs more sophisticated threat analysis and fortifies defenses against the evolving landscape of cyber threats.

研究动机与目标

• 解决 LLM 训练中高质量、任务特定数据集稀缺的问题，特别是在网络威胁情报（CTI）领域。
• 通过领域特定的指令微调，提升 LLM 在网络安全事件分析与响应方面的能力。
• 构建一个全面的评估基准，以衡量 LLM 在 CTI 任务中的表现，弥合通用能力与安全特定能力之间的差距。
• 通过微调开源 LLM，减少对人工专业知识的依赖，实现自动化、准确且专业的威胁分析。
• 建立一个可扩展的流水线，从原始网络安全报告中使用 LLM 和专家验证构建指令数据集。

提出的方法

• 从公开来源爬取原始网络安全事件报告，构建中英文双语的网络安全文本语料库。
• 使用 GPT-4 从原始文本中生成候选任务，再由人类专家基于 MITRE ATT&CK 和 OASIS CTI TC 标准进行精炼，形成任务池。
• 实施 Select-Instruct 流水线，自动从任务池中选择最相关任务，并生成相应的问答对，用于监督微调。
• 构建 SEvenLLM-Instruct 数据集，包含 28 个精心设计的多任务指令样本，用于训练领域特定的 LLM。
• 使用多任务学习目标，在 SEvenLLM-Instruct 上对开源 LLM（Llama 和 Qwen）进行微调，以增强其在 CTI 领域的能力。
• 构建 SEvenLLM-Bench 评估基准，包含多项选择题和问答题，全面评估模型在网络安全场景中的表现。

实验结果

研究问题

• RQ1 基于自监督和 LLM 辅助的数据构建流水线，能否有效生成高质量、任务特定的网络威胁情报指令数据？
• RQ2 在精心筛选的指令数据集上进行多任务微调，与通用 LLM 相比，能在多大程度上提升 LLM 在分析和响应网络安全事件方面的能力？
• RQ3 在真实世界的 CTI 任务中，SEvenLLM 的表现与 GPT-3.5 等强基线相比如何，特别是在响应的完整性和专业性方面？
• RQ4 像 SEvenLLM-Bench 这样的基准能否有效评估并区分 LLM 在网络威胁情报场景中的能力？
• RQ5 中英文双语数据的整理对面向 CTI 的 LLM 的泛化能力和实际应用价值有何影响？

主要发现

• SEvenLLM 在 SEvenLLM-Instruct 数据集上微调后，其在网络安全威胁分析中的响应比 GPT-3.5 更为完整和专业，尽管参数量更少。
• SEvenLLM-Bench 基准成功评估了 LLM 在多样化 CTI 任务中的表现，提供了一个标准化且全面的评估框架。
• 在 28 个精心设计的任务上采用多任务学习目标，显著提升了 LLM 在网络安全事件情境下的分析与响应能力。
• Select-Instruct 流水线有效实现了从原始网络安全报告中自动化构建高质量、经人工验证的指令数据，确保了任务的相关性与实用性。
• 中英文双语指令数据集提升了模型在多语言网络安全环境中的适用性，尽管多语言扩展仍是未来方向。
• 该框架在威胁情报任务中表现出强大的泛化能力和鲁棒性，显著降低了在事件分析中对专家人力的依赖。