[论文解读] POMDPs Make Better Hackers: Accounting for Uncertainty in Penetration Testing

Carlos Sarraute, Olivier Buffet+1 more|arXiv (Cornell University)|Jul 31, 2013

Software Testing and Debugging Techniques参考文献 10被引用 28

一句话总结

该论文提出了一种基于POMDP的渗透测试方法，通过建模网络配置中的不确定性，并智能地整合扫描与利用动作，在显著降低运行时间成本的同时保持了较高的攻击质量。通过将网络分解为子网络，并在单个主机上求解POMDP，该方法实现了可扩展的、近似最优的攻击规划，与全局POMDP解相比，平均质量损失仅为1.96%。

ABSTRACT

Penetration Testing is a methodology for assessing network security, by generating and executing possible hacking attacks. Doing so automatically allows for regular and systematic testing. A key question is how to generate the attacks. This is naturally formulated as planning under uncertainty, i.e., under incomplete knowledge about the network configuration. Previous work uses classical planning, and requires costly pre-processes reducing this uncertainty by extensive application of scanning methods. By contrast, we herein model the attack planning problem in terms of partially observable Markov decision processes (POMDP). This allows to reason about the knowledge available, and to intelligently employ scanning actions as part of the attack. As one would expect, this accurate solution does not scale. We devise a method that relies on POMDPs to find good attacks on individual machines, which are then composed into an attack on the network as a whole. This decomposition exploits network structure to the extent possible, making targeted approximations (only) where needed. Evaluating this method on a suitably adapted industrial test suite, we demonstrate its effectiveness in both runtime and solution quality.

研究动机与目标

• 为解决传统规划在渗透测试中的局限性，这些局限性依赖于昂贵的预扫描过程且无法处理残余不确定性。
• 将渗透测试建模为POMDP，以实现对不完全知识的推理以及在不确定性下的动态决策。
• 开发一种可扩展的分解方法，在避免全局POMDP模型指数级增长的同时保持解的质量。
• 在真实的工业测试套件上评估该方法，证明其在效率和实际可行性方面优于现有方法。

提出的方法

• 将攻击规划问题建模为POMDP，其中状态表示网络配置的不确定性，动作包括扫描和利用，分别具有相应的成本和奖励。
• 扫描通过减少不确定性来更新信念状态，而利用则会改变系统状态，并可能引发如服务崩溃等副作用。
• 将网络分解为双连通分量和子网络，对单个主机的攻击作为独立的POMDP求解，并以分层方式组合。
• 采用保守近似策略，确保整体策略从不高估价值，从而保持解的安全性。
• 4AL算法仅在必要时应用有针对性的近似，利用网络结构限制计算量的爆炸性增长。
• 该方法使用基于已知配置和上次渗透测试以来时间的信念状态初始化，并以概率方式建模利用的成功率。

实验结果

研究问题

• RQ1 POMDP能否有效用于在不确定性下建模渗透测试为规划问题，从而捕捉利用与网络拓扑之间的依赖关系？
• RQ2 如何在不产生禁止性计算成本的前提下，将基于POMDP的攻击规划扩展到真实规模的网络？
• RQ3 将大规模POMDP分解为更小、模块化的组件时，解的质量与运行时间之间的权衡如何？
• RQ4 与全局POMDP解相比，所提出的分解方法在攻击有效性和效率方面的表现如何？

主要发现

• 与全局POMDP解相比，4AL方法的平均质量损失仅为1.96%，在所有测试配置中最大损失为14.1%。
• 即使在包含最多100台主机和100个利用的网络中，运行时间仍保持在37秒以内，展现出强大的可扩展性。
• 该方法通过减少对预扫描过程的依赖，在保持高攻击质量的同时显著提升了性能，优于传统规划方法。
• 质量损失随网络规模增加而上升，从单台主机的-1.14%增至六台主机的4.37%，表明该权衡是可管理的。
• 该方法通过智能地交错扫描与利用，避免了全面扫描的低效性，优于现有方法。
• 该方法在工业部署方面展现出巨大潜力，其对网络结构、利用依赖关系以及基于上次渗透测试以来时间的信念更新进行了真实建模。