[论文解读] The Partially Observable Games We Play for Cyber Deception

Mohamadreza Ahmadi, Murat Cubuktepe+4 more|arXiv (Cornell University)|Sep 28, 2018

Network Security and Intrusion Detection参考文献 16被引用 9

一句话总结

该论文提出了一种可扩展的两阶段方法，用于在部分可观测随机博弈（POSGs）中计算鲁棒的欺骗策略，以实现网络防御，其中防御者（欺骗者）具有完全可观测性，而攻击者（渗透者）具有部分可观测性。通过参数化MDP合成有限记忆渗透策略，并求解鲁棒混合整数线性规划，该方法使更大规模网络的最优欺骗策略成为可能，相较于以往方法在12层网络模型上展现出显著可扩展性，且最坏情况成本显著降低。

ABSTRACT

Progressively intricate cyber infiltration mechanisms have made conventional means of defense, such as firewalls and malware detectors, incompetent. These sophisticated infiltration mechanisms can study the defender's behavior, identify security caveats, and modify their actions adaptively. To tackle these security challenges, cyber-infrastructures require active defense techniques that incorporate cyber deception, in which the defender (deceiver) implements a strategy to mislead the infiltrator. To this end, we use a two-player partially observable stochastic game (POSG) framework, wherein the deceiver has full observability over the states of the POSG, and the infiltrator has partial observability. Then, the deception problem is to compute a strategy for the deceiver that minimizes the expected cost of deception against all strategies of the infiltrator. We first show that the underlying problem is a robust mixed-integer linear program, which is intractable to solve in general. Towards a scalable approach, we compute optimal finite-memory strategies for the infiltrator by a reduction to a series of synthesis problems for parametric Markov decision processes. We use these infiltration strategies to find robust strategies for the deceiver using mixed-integer linear programming. We illustrate the performance of our technique on a POSG model for network security. Our experiments demonstrate that the proposed approach handles scenarios considerably larger than those of the state-of-the-art methods.

研究动机与目标

• 为应对设计有效网络欺骗策略以对抗利用信息不对称的复杂、自适应网络渗透者所面临的挑战。
• 将防御者-渗透者交互建模为双人单边部分可观测随机博弈（POSG），其中防御者具有完全状态可观测性，而渗透者具有部分可观测性。
• 开发一种可处理且可扩展的解决方案，以计算在所有可能渗透策略下均最小化期望欺骗成本的鲁棒欺骗策略。
• 通过聚焦于渗透者的有限记忆策略并使用参数化MDP合成，克服求解完整POSG的不可行性。

提出的方法

• 将网络欺骗问题建模为单边部分可观测随机博弈（POSG），其中防御者具有完全可观测性，而渗透者具有部分可观测性。
• 通过凸-凹优化方法，将渗透策略合成问题简化为一系列参数化马尔可夫决策过程（pMDP）合成问题。
• 合成有限记忆渗透策略，以使渗透者产生较低的期望成本，确保表示紧凑且计算上可管理。
• 构建一个鲁棒混合整数线性规划（MILP），以计算防御者最优策略，从而在所有合成的渗透策略中最小化最坏情况成本。
• 使用GUROBI高效求解生成的MILP问题，实现对更大规模网络模型的可扩展性。
• 在多层网络安全模型上验证该方法，与基线策略（如始终参与或始终阻断）进行性能对比。

实验结果

研究问题

• RQ1 我们能否在防御者具有完全状态可观测性、渗透者具有部分可观测性的部分可观测随机博弈中计算出鲁棒的欺骗策略？
• RQ2 如何将此类基于POSG的欺骗博弈求解规模扩展至超越现有方法限制的范围？
• RQ3 有限记忆策略对欺骗策略合成的可扩展性和性能有何影响？
• RQ4 参数化MDP合成能否有效生成代表性渗透策略，以支持鲁棒防御者策略计算？
• RQ5 防御者的期望成本如何随网络规模和合成渗透策略数量的变化而变化？

主要发现

• 所提方法成功计算出12层网络的最优欺骗策略，在考虑1,000种渗透策略时，最坏情况期望成本为261.49，显著低于始终阻断策略的341.72或始终参与策略的304.05。
• 在4层网络中，最优策略的最坏情况期望成本为282.22，优于始终阻断和始终参与的基线策略。
• 该方法具有良好的可扩展性：4层网络的渗透策略合成耗时193.29秒，防御者策略计算耗时216.92秒。
• 最优防御者策略为在前两层与渗透者互动，后几层实施阻断，展现出策略上的自适应能力。
• 随着合成渗透策略数量的增加，防御者的最坏情况期望成本上升，证实了策略在对抗多样性下的鲁棒性。
• 该方法可处理比以往最先进方法更大的网络规模，12层网络的最优策略在同等条件下产生的期望损失低于4层网络的对应策略。