[论文解读] Time for aCTIon: Automated Analysis of Cyber Threat Intelligence in the Wild

Giuseppe Siracusano, Davide Sanvito+7 more|arXiv (Cornell University)|Jul 14, 2023

Software Engineering Research被引用 12

一句话总结

本文提出 aCTIon，一种使用基于 GPT-3.5 的管道来从非结构化报告生成 STIX 捆绑的自动化 CTI 提取框架，并由包含 204 份报告的大型开放基准提供支持；相比以往方法在 F1-score 上取得了显著提升。

ABSTRACT

Cyber Threat Intelligence (CTI) plays a crucial role in assessing risks and enhancing security for organizations. However, the process of extracting relevant information from unstructured text sources can be expensive and time-consuming. Our empirical experience shows that existing tools for automated structured CTI extraction have performance limitations. Furthermore, the community lacks a common benchmark to quantitatively assess their performance. We fill these gaps providing a new large open benchmark dataset and aCTIon, a structured CTI information extraction tool. The dataset includes 204 real-world publicly available reports and their corresponding structured CTI information in STIX format. Our team curated the dataset involving three independent groups of CTI analysts working over the course of several months. To the best of our knowledge, this dataset is two orders of magnitude larger than previously released open source datasets. We then design aCTIon, leveraging recently introduced large language models (GPT3.5) in the context of two custom information extraction pipelines. We compare our method with 10 solutions presented in previous work, for which we develop our own implementations when open-source implementations were lacking. Our results show that aCTIon outperforms previous work for structured CTI extraction with an improvement of the F1-score from 10%points to 50%points across all tasks.

研究动机与目标

• 解决缺乏一个大型、开放的结构化 CTI 提取基准，以及现有工具的局限性。
• 开发一个利用大语言模型的自动化 CTI 信息提取管道。
• 在一个现实的 CTI 基准上评估最先进工具，并展示基于 LLM 的方法的改进。
• 发布 CTI 报告及其 STIX 捆绑的数据集，以促进进一步研究。

提出的方法

• 提供一个两管道架构：一个用于一般实体/关系提取，另一个专门用于攻击模式。
• 利用两阶段的 LLM 工作流（预处理以提炼文本，提取以识别并分类 CTI 实体）使用一个作为服务的 LLM（GPT-3.5-turbo）和基于提示的推理。
• 通过将模型作为以输入内容为锚点的推理器并增加验证步骤和捆绑审查来缓解幻觉。
• 通过迭代摘要对长的非结构化报告进行蒸馏，以适应 4k token 的输入/输出约束。
• 通过 C 组的分析师手动验证和审查提取的 STIX 捆绑，以确保质量。

实验结果

研究问题

• RQ1 当前工具在一个大型、现实的基准上对结构化 CTI 提取的表现如何？
• RQ2 基于 LLM 的提示和上下文学习能否改善在 CTI 报告中对恶意软件、威胁行为者、目标和攻击模式实体的提取？
• RQ3 哪些设计选择（预处理、提示、验证）在减少幻觉并保持 CTI 指标准确性方面有效？
• RQ4 在生成高质量 STIX 捆绑方面，自动化与分析师验证之间的权衡是什么？

主要发现

• ACTIon 在恶意软件、威胁行为者和目标的提取方面超越了先前的最先进工具，将 F1 分数提升了 15–50 个百分点。
• 攻击模式提取在 aCTIon 的作用下 F1-score 提升约 10 个百分点。
• 该数据集包含 204 份报告及 STIX 捆绑，总计 36.1k 实体和 13.6k 关系，涵盖 9 种实体类型和 5 种关系类型。
• 这些报告覆盖 62 个来源，覆盖 MITRE ATT&CK Enterprise 技术的 90%，并代表 188 种恶意软件变体和 91 个威胁行为者。
• 作者提供数据集的开放访问，以促进可重复性和进一步研究。