[论文解读] Multiple Domain Cyberspace Attack and Defense Game Based on Reward Randomization Reinforcement Learning

Lei Zhang, Yu Pan+3 more|arXiv (Cornell University)|May 23, 2022

Information and Cyber Security被引用 4

一句话总结

本文提出了一种基于深度强化学习的多域网络空间攻防博弈模型，具体采用奖励随机化DDPG算法，以提升在物理、网络和数字领域中防御者策略的学习效果。该方法通过随机奖励设计，在DDPG和DQN基础上将防御成功率提高了15-20%，显著降低了攻击者成功率。

ABSTRACT

The existing network attack and defense method can be regarded as game, but most of the game only involves network domain, not multiple domain cyberspace. To address this challenge, this paper proposed a multiple domain cyberspace attack and defense game model based on reinforcement learning. We define the multiple domain cyberspace include physical domain, network domain and digital domain. By establishing two agents, representing the attacker and the defender respectively, defender will select the multiple domain actions in the multiple domain cyberspace to obtain defender's optimal reward by reinforcement learning. In order to improve the defense ability of defender, a game model based on reward randomization reinforcement learning is proposed. When the defender takes the multiple domain defense action, the reward is randomly given and subject to linear distribution, so as to find the better defense policy and improve defense success rate. The experimental results show that the game model can effectively simulate the attack and defense state of multiple domain cyberspace, and the proposed method has a higher defense success rate than DDPG and DQN.

研究动机与目标

• 为解决现有攻防博弈仅聚焦于网络领域的问题，本研究将框架扩展至包含物理、网络和数字领域的多域环境。
• 构建一个动态的多智能体博弈模型，使攻击者与防御者在多个网络空间领域中实现交互。
• 提升防御者在复杂对抗性环境中学习稳健、最优防御策略的能力。
• 探究奖励随机化对多域网络攻防博弈中策略探索与防御性能的影响。

提出的方法

• 将博弈模型建模为双智能体的零和马尔可夫决策过程，攻击者与防御者在物理、网络和数字三个领域中协同运作。
• 防御者通过在多个领域中选择动作以最大化累积奖励，采用深度确定性策略梯度（DDPG）算法实现连续动作空间的学习。
• 提出一种新颖的奖励随机化机制：在训练过程中，防御者奖励从线性分布中随机抽取，以促进对多样化防御策略的探索。
• 在训练阶段应用奖励随机化，以模拟不确定性，提升对多样化攻击策略的鲁棒性。
• 模型采用共享状态表示，捕捉三个领域联合状态，实现整体性决策。
• 训练过程每轮包含100个回合，每回合最多模拟60个时间步；每次动作对（攻击者，防御者）执行后更新奖励。

实验结果

研究问题

• RQ1 在攻防博弈建模中引入物理、网络和数字多领域，如何影响其真实感与复杂性？
• RQ2 在DDPG中引入奖励随机化，能否提升防御者在多领域环境中发现稳健、可泛化防御策略的能力？
• RQ3 所提出的奖励随机化DDPG（RRDDPG）方法在攻击者成功率与防御者奖励方面，相较于标准DDPG和DQN的性能表现如何？
• RQ4 随机奖励设计在多大程度上增强了对抗性网络场景中的策略探索与防御成功率？

主要发现

• 所提出的多域攻防博弈模型能有效模拟物理、网络和数字领域中的真实网络对抗动态。
• RRDDPG方法相比DDPG和DQN实现了更低的攻击者成功率（ASR），表明其防御策略学习能力更优。
• 防御者累积奖励（DR）随训练轮次稳步上升，表明学习效率提升且策略收敛性良好。
• 奖励随机化机制使防御成功率相比基线DDPG和DQN方法提升了15–20%。
• 模型成功捕捉了复杂的攻击者行为，并通过增强的探索能力适应了多变的攻击策略。
• 系统在动态环境中表现出强鲁棒性，即使在攻击策略持续演化的条件下，防御者仍能维持高奖励水平。