[论文解读] On Preempting Advanced Persistent Threats Using Probabilistic Graphical Models

Phuong Cao|arXiv (Cornell University)|Mar 21, 2019

Network Security and Intrusion Detection参考文献 97被引用 5

一句话总结

PULSAR 是一种基于因子图的概率图模型（Factor Graph-based）框架，通过从历史 APT 数据中学习攻击模式并实时推断攻击进展，预先检测并阻止高级持续性威胁（APTs）。在生产环境中，其平均决策时间仅为一秒，可实现 91.7% 的准确率，在数据丢失前识别 APT，且在系统完整性被破坏前阻止 80% 的未知 APT。

ABSTRACT

This paper presents PULSAR, a framework for pre-empting Advanced Persistent Threats (APTs). PULSAR employs a probabilistic graphical model (specifically a Factor Graph) to infer the time evolution of an attack based on observed security events at runtime. PULSAR (i) learns the statistical significance of patterns of events from past attacks; (ii) composes these patterns into FGs to capture the progression of the attack; and (iii) decides on preemptive actions. PULSAR's accuracy and its performance are evaluated in three experiments at SystemX: (i) a study with a dataset containing 120 successful APTs over the past 10 years (PULSAR accurately identifies 91.7%); (ii) replaying of a set of ten unseen APTs (PULSAR stops 8 out of 10 replayed attacks before system integrity violation, and all ten before data exfiltration); and (iii) a production deployment of PULSAR (during a month-long deployment, PULSAR took an average of one second to make a decision).

研究动机与目标

• 解决传统检测方法因低速、多阶段攻击模式而难以检测高级持续性威胁（APTs）的挑战。
• 通过利用真实世界 APT 中事件模式的统计显著性，而非启发式或异常检测规则，降低 APT 检测中的误报率。
• 实现在大规模生产环境中低性能开销的实时、可扩展推理。
• 通过从历史数据中学习组合性、统计显著的攻击模式，实现对未知 APT 的泛化检测。
• 通过概率建模时间依赖和条件依赖关系，提供关于攻击进展的可解释、可操作的洞察。

提出的方法

• PULSAR 使用因子图（FGs）建模 APT 进展，编码安全事件序列与攻击阶段之间的条件依赖关系。
• 从 120 个真实世界 APT 中学习事件模式的统计显著性，其中 99.7% 的标注由自动方式生成，显著减少人工标注工作量。
• 将学习到的模式组合成一个概率图模型，捕捉攻击的时间演化过程，且无需假设因果顺序。
• 通过过滤高吞吐量事件流（例如，每天 94k 个事件）至每秒约 1.9k 个显著事件，实现实时推理，支持低延迟决策。
• 当模型推断出向关键阶段（如数据外泄或 rootkit 安装）进展的概率较高时，触发攻击预判。
• 模型在纵向真实生产流量（10 年数据集）上进行训练，并在包含背景噪声的实时流量中注入未见 APT 进行验证。

实验结果

研究问题

• RQ1 概率图模型能否在极少人工标注的情况下，有效从真实世界攻击数据中学习并预测 APT 的进展？
• RQ2 此类模型在多大程度上能泛化至检测与训练数据在攻击向量或载荷上不同的未知 APT？
• RQ3 该框架能否在高吞吐量、真实世界生产环境中保持高检测准确率的同时实现低误报率？
• RQ4 在存在显著背景噪声的实时、大规模事件工作负载下，模型的推理性能如何扩展？
• RQ5 该框架能否在关键攻击阶段（如数据外泄或系统破坏）发生前实现预判性缓解？

主要发现

• PULSAR 在 10 年期 120 个真实 APT 数据集中，对 60 个此前未见的 APT 实现了 91.7% 的准确率，且在数据丢失前即被检测到。
• 在基于 IBM 威胁情报指数中顶级技术的 10 个未见 APT 测试中，PULSAR 在系统完整性被破坏前阻止了 8 个，且在所有 10 个中均于数据外泄前完成阻止。
• 在 SystemX 的一个月生产部署中，PULSAR 平均每天处理 94,238 个事件，平均每个事件的决策时间低于一秒。
• 该框架将事件流平均减少至每天仅 1,885 个显著事件，展示了高效的过滤能力和可扩展性。
• PULSAR 使用自动标注模式（99.7% 的数据），显著降低了标注负担，同时保持了高检测性能。
• 该模型成功检测到仅包含过去攻击中 12–30 个共用事件的 APT，表明即使重叠有限，仍具备对新型攻击模式的强大泛化能力。