[论文解读] STIXnet: A Novel and Modular Solution for Extracting All STIX Objects in CTI Reports

Francesco Marchiori, Mauro Conti+1 more|arXiv (Cornell University)|Mar 17, 2023

Software Engineering Research被引用 4

一句话总结

STIXnet 是一种新颖的模块化框架，可从非结构化的网络威胁情报（CTI）报告中自动提取所有结构化威胁信息表达（STIX）实体及其关系。它结合自然语言处理（NLP）、基于规则的方法和一个动态知识库，在支持所有 STIX 标准化对象类型和关系的同时，实现了最先进的 F1 得分：实体抽取为 0.916，关系抽取为 0.724，具备可扩展性和可扩展性。

ABSTRACT

The automatic extraction of information from Cyber Threat Intelligence (CTI) reports is crucial in risk management. The increased frequency of the publications of these reports has led researchers to develop new systems for automatically recovering different types of entities and relations from textual data. Most state-of-the-art models leverage Natural Language Processing (NLP) techniques, which perform greatly in extracting a few types of entities at a time but cannot detect heterogeneous data or their relations. Furthermore, several paradigms, such as STIX, have become de facto standards in the CTI community and dictate a formal categorization of different entities and relations to enable organizations to share data consistently. This paper presents STIXnet, the first solution for the automated extraction of all STIX entities and relationships in CTI reports. Through the use of NLP techniques and an interactive Knowledge Base (KB) of entities, our approach obtains F1 scores comparable to state-of-the-art models for entity extraction (0.916) and relation extraction (0.724) while considering significantly more types of entities and relations. Moreover, STIXnet constitutes a modular and extensible framework that manages and coordinates different modules to merge their contributions uniquely and exhaustively. With our approach, researchers and organizations can extend their Information Extraction (IE) capabilities by integrating the efforts of several techniques without needing to develop new tools from scratch.

研究动机与目标

• 为应对日益频繁的 CTI 报告中手动提取异构网络威胁情报的挑战。
• 克服现有 NLP 模型仅能提取部分 STIX 实体和关系且互操作性差的局限。
• 开发一种模块化、可扩展的框架，全面支持 STIX 标准中所有实体和关系类型的合规性。
• 通过独立评估和选择性过滤误分类实体，减少模块间错误传播。
• 为威胁分析师提供可扩展、交互式的系统，以知识图谱形式可视化和探索提取的情报。

提出的方法

• STIXnet 采用模块化流水线架构，将实体抽取、关系抽取和知识库集成划分为独立、可组合的组件。
• 实体抽取利用预训练的 NLP 模型（如 spaCy、基于 BERT 的模型），结合基于规则的正则表达式和一个动态知识库（KB），用于实体归一化和消歧。
• 关系抽取采用混合方法：基于句子嵌入的深度学习模型与基于规则的系统相结合，置信度分数被归一化至 [0,1] 范围，用于阈值判断（设定为 0.5）。
• 应用 0.5 的置信度阈值过滤低置信度关系，以减少误报，同时保持召回率。
• 系统通过图形化界面将结果可视化为知识图谱，其中节点代表 STIX 对象，边代表关系，且可展开来自 KB 的元数据。
• 知识库随每份报告的处理逐步丰富，支持持续学习和模型泛化能力的长期提升。

实验结果

研究问题

• RQ1 模块化、可扩展的框架能否在非结构化 CTI 报告中实现对所有 STIX 标准化实体和关系的高性能抽取？
• RQ2 NLP、基于规则的逻辑与动态知识库的集成，相较于单体模型，如何提升抽取准确率和覆盖范围？
• RQ3 从实体抽取到关系抽取的错误传播在多大程度上影响性能？是否可被缓解？
• RQ4 在混合深度学习与基于规则的系统中，关系抽取的最优置信度阈值是什么？该阈值如何在精确率与召回率之间实现平衡？
• RQ5 该框架能否支持实时更新和可扩展性，以满足不断演变的威胁情报需求？

主要发现

• STIXnet 在实体抽取上达到 0.916 的 F1 得分，尽管支持更广泛的 STIX 对象类型，仍与最先进模型持平。
• 关系抽取模块取得 0.724 的 F1 得分，展现出在 CTI 报告中复杂、异构关系上的强劲性能。
• 通过排除误分类实体来缓解错误传播后，精确率从 0.721 提升至 0.828，但因真正例数量减少，召回率下降。
• 关系抽取的最优置信度阈值为 0.5，可在误报与漏报之间实现良好平衡。
• 模块化设计支持新抽取模块的即插即用集成，可针对特定威胁情报用例进行定制。
• 动态知识库支持持续丰富，随着每份新报告的处理，推动系统长期性能改进。