[论文解读] TBDetector:Transformer-Based Detector for Advanced Persistent Threats with Provenance Graph

Nan Wang, Xuezhi Wen+8 more|arXiv (Cornell University)|Apr 6, 2023

Network Security and Intrusion Detection被引用 4

一句话总结

TBDetector 是一种基于 Transformer 的高级持续性威胁（APT）异常检测框架，利用血缘图（provenance graphs）来建模长期系统行为。通过将血缘图转换为序列特征，并使用自注意力编码器-解码器提取上下文模式，结合相似性与隔离度量计算异常分数，在五个公开的 APT 检测数据集上实现了最先进性能。

ABSTRACT

APT detection is difficult to detect due to the long-term latency, covert and slow multistage attack patterns of Advanced Persistent Threat (APT). To tackle these issues, we propose TBDetector, a transformer-based advanced persistent threat detection method for APT attack detection. Considering that provenance graphs provide rich historical information and have the powerful attacks historic correlation ability to identify anomalous activities, TBDetector employs provenance analysis for APT detection, which summarizes long-running system execution with space efficiency and utilizes transformer with self-attention based encoder-decoder to extract long-term contextual features of system states to detect slow-acting attacks. Furthermore, we further introduce anomaly scores to investigate the anomaly of different system states, where each state is calculated with an anomaly score corresponding to its similarity score and isolation score. To evaluate the effectiveness of the proposed method, we have conducted experiments on five public datasets, i.e., streamspot, cadets, shellshock, clearscope, and wget_baseline. Experimental results and comparisons with state-of-the-art methods have exhibited better performance of our proposed method.

研究动机与目标

• 解决检测持续时间长、低速隐蔽、具备零日能力的 APT 攻击的挑战。
• 克服现有 APT 检测方法在建模长期行为模式或随血缘图规模增长而扩展性不足方面的局限。
• 通过引入基于相似性与隔离性的混合异常评分机制，提升对未知 APT 的检测能力。
• 开发一种可扩展的实时检测系统，基于血缘图数据的序列建模。

提出的方法

• 将系统日志事件转换为血缘图，以捕获系统实体（如进程、文件、内存对象）之间的因果关系。
• 将血缘图转换为表示系统状态转移的特征向量序列，用于序列建模。
• 采用基于 Transformer 的编码器-解码器架构，利用自注意力机制从系统状态序列中提取长期上下文特征。
• 将每个系统状态的异常分数计算为相似性分数（基于与正常聚类中心的距离）与隔离分数（基于与正常聚类的距离）的加权组合。
• 对已知正常样本使用 K-means 聚类以确定相似性分数计算所需的聚类中心，K 值根据数据集动态选择以实现最佳性能。
• 在五个公开的 APT 检测数据集（streamspot、cadets、shellshock、clearscope 和 wget_baseline）上进行模型训练与评估。

实验结果

研究问题

• RQ1 基于 Transformer 的模型能否有效从血缘图序列中学习长期上下文特征，以检测低速 APT 攻击？
• RQ2 所提出的结合相似性与隔离性的异常评分机制，相比传统聚类方法（如 K-means），在检测未知或零日 APT 威胁方面有何改进？
• RQ3 聚类中心数量（K）的变化对所提框架中异常检测性能有何影响？
• RQ4 TBDetector 在多样化的现实世界数据集上，与最先进 APT 检测方法相比，性能如何？

主要发现

• 在 shellshock 数据集上，使用 20% 训练数据时，TBDetector 的 PR 面积达到 0.9575，较 K-means（0.7162）提升 33.69%。
• 在 wget_baseline 数据集上，使用 20% 训练数据时，TBDetector 的 PR 面积达到 0.9965，较 K-means（0.9592）提升 3.89%。
• 在 streamspot 数据集上，使用 25% 训练数据时，TBDetector 的 PR 面积达到 0.9967，较 K-means（0.4645）提升 5.54%。
• 最优聚类中心数量（K）在不同数据集中有所不同，TBDetector 的动态 K 选择优于固定 K 配置，在 shellshock 上相较 K=2 最高提升达 5.63%。
• 异常评分机制在性能上持续优于 K-means 聚类，尤其在小样本场景下表现更优，表明对有限标注正常样本具有更强鲁棒性。
• 基于 Transformer 的序列建模有效捕捉了血缘图中的长期行为模式，实现了对隐蔽、多阶段 APT 攻击的检测。