[论文解读] Penetration Testing == POMDP Solving?

Carlos Sarraute, Olivier Buffet+1 more|arXiv (Cornell University)|Jun 19, 2013

Network Security and Intrusion Detection参考文献 12被引用 30

一句话总结

本文将渗透测试建模为部分可观察马尔可夫决策过程（POMDP），以处理网络配置中的不确定性，并智能地交错扫描与利用动作。结果表明，POMDP能自然地建模在不确定性下的信息收集与利用顺序，通过动态适应部分可观察性，优于经典规划方法，在真实场景中实现成本效益高且自适应的攻击策略。

ABSTRACT

Penetration Testing is a methodology for assessing network security, by generating and executing possible attacks. Doing so automatically allows for regular and systematic testing without a prohibitive amount of human labor. A key question then is how to generate the attacks. This is naturally formulated as a planning problem. Previous work (Lucangeli et al. 2010) used classical planning and hence ignores all the incomplete knowledge that characterizes hacking. More recent work (Sarraute et al. 2011) makes strong independence assumptions for the sake of scaling, and lacks a clear formal concept of what the attack planning problem actually is. Herein, we model that problem in terms of partially observable Markov decision processes (POMDP). This grounds penetration testing in a well-researched formalism, highlighting important aspects of this problem's nature. POMDPs allow to model information gathering as an integral part of the problem, thus providing for the first time a means to intelligently mix scanning actions with actual exploits.

研究动机与目标

• 为解决经典规划在渗透测试中的局限性，后者假设完全知晓且忽略不确定性。
• 通过引入部分可观察性和信息收集动作（如端口扫描）来更准确地建模攻击规划问题。
• 提供一个正式框架，以捕捉现实世界网络安全评估中动态且不确定的特性。
• 基于预期信息增益和利用成功率，实现扫描与利用动作的智能排序。
• 探索在真实网络环境中使用POMDP实现可扩展、自适应渗透测试的可行性与优势。

提出的方法

• 本文将渗透测试建模为POMDP，其中状态表示网络配置（例如，操作系统、开放端口），动作包括扫描和利用。
• 动作是确定性的，但初始状态是部分可观察的，以反映对配置更改后机器配置的不确定性。
• 每次动作后通过贝叶斯推断更新信念状态，以反映对网络知识的动态演变。
• 通过POMDP求解器计算策略，以最大化预期累积奖励（例如，系统控制）并最小化成本（时间、流量）。
• 该方法支持基于实时信念更新的动态利用排序，而经典规划器则静态预排序利用。
• 该方法在可扩展的合成问题生成器上进行评估，该生成器可调节机器数量、利用数量以及上次扫描以来的时间。

实验结果

研究问题

• RQ1 POMDP是否能比经典规划更自然、更准确地建模渗透测试，从而捕捉部分可观察性和信息收集？
• RQ2 在单一规划框架中集成扫描与利用动作，相比预扫描的经典规划，如何改善攻击策略？
• RQ3 POMDP-based攻击规划在真实网络配置中的可扩展性如何，特别是针对成对机器转换？
• RQ4 信念更新与不确定性下的动态利用排序如何影响渗透测试的质量与成本效率？
• RQ5 是否可以利用渗透测试问题的结构特性（如静态状态、单调性、每步单动作）来提高POMDP求解效率？

主要发现

• 基于POMDP的规划支持动态、依赖信念的利用排序，可随扫描结果自适应调整，而经典规划器依赖固定且预计算的序列。
• 该模型自然地将扫描与利用作为相互依赖的动作进行整合，允许在高风险利用前进行成本效益高的信息收集。
• POMDP求解器在成对机器转换（2台机器网络）中表现出合理的可扩展性，使其适合作为高层规划中原子组件使用。
• 该方法通过基于信念的策略自适应，优于先前工作，能够处理利用之间的依赖关系（例如，共享失败原因）。
• 该模型捕捉了真实渗透测试的关键方面，如对配置的不完全知识，以及信息增益与攻击成本之间的权衡。
• 尽管全网络扩展仍有限，但该方法为构建可扩展、自适应的渗透测试工具提供了原则性基础，可利用成对POMDP解作为构建模块。