[论文解读] Playing Adaptively Against Stealthy Opponents: A Reinforcement Learning Strategy for the FlipIt Security Game.

Lisa Oakley, Alina Oprea|arXiv (Cornell University)|Jun 27, 2019

Advanced Malware Detection Techniques参考文献 19被引用 3

一句话总结

本文提出了一种基于强化学习的自适应策略，用于FlipIt安全博弈，将其建模为马尔可夫决策过程（MDP），以实现对隐蔽攻击者的动态响应。该方法在面对周期性（Periodic）和指数型（Exponential）对手时能够收敛至最优策略，并通过使用复合状态的广义Q-learning，优于贪婪基线方法。

ABSTRACT

A rise in Advanced Persistant Threats (APTs) has introduced a need for robustness against long-running, stealthy attacks which circumvent existing cryptographic security guarantees. FlipIt is a security game that models the attacker-defender interactions in advanced scenarios such as APTs. Previous work analyzed extensively non-adaptive strategies in FlipIt, but adaptive strategies rise naturally in practical interactions as players receive feedback during the game. We model the FlipIt game as a Markov Decision Process and use reinforcement learning algorithms to design adaptive strategies. We prove theoretical results on the convergence of our new strategy against an opponent playing with a Periodic strategy. We confirm our analysis experimentally by extensive evaluation of the strategy against specific opponents. Our strategies converge to the optimal adaptive strategy for Periodic and Exponential opponents. Finally, we introduce a generalized Q-Learning strategy with composite states that outperforms a Greedy-based strategy for several distributions, including Periodic and Uniform, without prior knowledge of the opponent's strategy.

研究动机与目标

• 应对高级持续性威胁（APTs）日益增长的威胁，这些威胁可规避传统密码学防御机制。
• 通过利用反馈实现实时自适应，克服先前FlipIt博弈中非自适应策略的局限性。
• 设计一种自适应防御策略，能够对隐蔽的、长期运行的攻击者做出动态响应。
• 在已知对手策略（如周期性与指数型）下实现向最优行为的收敛。
• 开发一种广义Q-learning方法，在不事先知晓对手策略的情况下仍能表现出色。

提出的方法

• 将FlipIt博弈建模为马尔可夫决策过程（MDP），以形式化状态转移与奖励结构。
• 应用强化学习算法，基于游戏过程中的实时反馈学习自适应防御策略。
• 证明当对手采用周期性策略时，所提策略的理论收敛性。
• 设计一种使用复合状态的广义Q-learning算法，以同时编码游戏状态与历史动作。
• 采用函数逼近与经验回放技术，以在连续或大规模状态空间中稳定学习过程。
• 在多种对手类型（包括周期性、指数型与均匀分布）上评估该策略的性能。

实验结果

研究问题

• RQ1 强化学习能否在隐蔽攻击者条件下有效应用于推导FlipIt博弈中的自适应策略？
• RQ2 当面对周期性对手时，所提出的自适应策略是否能收敛至最优行为？
• RQ3 与贪婪基线相比，使用复合状态的广义Q-learning策略在不同对手分布下的表现如何？
• RQ4 该策略在不事先知晓对手策略的情况下，其性能可达到何种程度？
• RQ5 在FlipIt框架中，该自适应策略的收敛性可建立何种理论保证？

主要发现

• 所提出的强化学习策略在对手采用周期性策略时，能够收敛至最优自适应策略。
• 该策略在面对指数型对手时表现出色，显示出对不同攻击模式的鲁棒性。
• 使用复合状态的广义Q-learning方法在多种对手分布下显著优于基于贪婪的策略。
• 该方法即使在缺乏对手策略先验知识的情况下仍能保持高性能，表明其具备强大的泛化能力。
• 实验评估验证了理论收敛结果，并证实了自适应学习框架的有效性。
• 复合状态的使用提升了复杂、反馈驱动环境下的学习效率与策略准确性。