[论文解读] On Autonomous Agents in a Cyber Defence Environment

Mitchell Kiely, David Bowman+2 more|arXiv (Cornell University)|Sep 14, 2023

Information and Cyber SecurityComputer Science被引用 3

一句话总结

本文通过CAGE Challenge 2——一个模拟后渗透阶段横向移动的多智能体对抗环境——评估了深度强化学习（DRL）与非DRL方法在自主网络防御中的表现。分层DRL方法通过学习根据进攻方红队智能体行为动态调整的专用防御策略，表现优于其他方法，展现出DRL在现实世界自主网络防御系统中的强大潜力。

ABSTRACT

Autonomous Cyber Defence is required to respond to high-tempo cyber-attacks. To facilitate the research in this challenging area, we explore the utility of the autonomous cyber operation environments presented as part of the Cyber Autonomy Gym for Experimentation (CAGE) Challenges, with a specific focus on CAGE Challenge 2. CAGE Challenge 2 required a defensive Blue agent to defend a network from an attacking Red agent. We provide a detailed description of the this challenge and describe the approaches taken by challenge participants. From the submitted agents, we identify four classes of algorithms, namely, Single- Agent Deep Reinforcement Learning (DRL), Hierarchical DRL, Ensembles, and Non-DRL approaches. Of these classes, we found that the hierarchical DRL approach was the most capable of learning an effective cyber defensive strategy. Our analysis of the agent policies identified that different algorithms within the same class produced diverse strategies and that the strategy used by the defensive Blue agent varied depending on the strategy used by the offensive Red agent. We conclude that DRL algorithms are a suitable candidate for autonomous cyber defence applications.

研究动机与目标

• 通过标准化环境评估不同AI算法类别在自主网络防御中的有效性。
• 识别在对抗性网络场景中，哪种算法方法——单智能体DRL、分层DRL、集成方法或非DRL——最能学习到有效的防御策略。
• 分析智能体策略如何根据红队智能体的进攻策略及回合长度而变化。
• 提供算法优势与劣势的系统性分类法与对比分析，适用于网络防御应用。

提出的方法

• 本研究使用开源的Cyber Autonomy Gym for Experimentation（CAGE）挑战赛，特别是CAGE Challenge 2，该场景模拟小型企业网络中的后渗透阶段横向移动。
• 智能体在多智能体环境中进行训练与评估，其中蓝队智能体需防御执行横向移动的红队智能体。
• 智能体提交结果被划分为四种类别：单智能体DRL、分层DRL、集成方法与非DRL方法。
• 通过动作选择频率、策略多样性及对不同红队智能体类型与回合长度的响应差异，分析策略行为。
• 构建分类法以支持智能体行为与性能的类内及类间比较。
• 对智能体策略进行统计与定性分析，以评估其适应性、策略多样性及在不同进攻战术下的鲁棒性。

实验结果

研究问题

• RQ1 在网络安全防御环境中，哪种算法类别——单智能体DRL、分层DRL、集成方法或非DRL——在学习稳健防御策略方面表现最有效？
• RQ2 蓝队智能体的防御策略如何随红队智能体所采用的不同进攻策略而变化？
• RQ3 在相同类别内（如基于HPPO的智能体），不同算法是否在架构相似的情况下学习到截然不同的防御策略？
• RQ4 回合长度在多大程度上影响已训练智能体的动作选择与战略行为？
• RQ5 各类算法在自主网络防御背景下的关键优势与局限性是什么？

主要发现

• 分层DRL方法在多样化的进攻场景中，最能学习并实施有效且自适应的防御策略。
• 同一类别内的不同算法（如基于HPPO的智能体）产生了差异显著的防御策略，动作选择模式重叠极小。
• 蓝队智能体的防御策略显著受红队智能体行为影响——例如，针对持续攻击者如B-Line，会集中防御特定诱饵；而针对更动态的智能体如Meander，则采用更广泛的诱饵与恢复策略。
• 回合长度影响策略选择：短回合更依赖诱饵，长回合则更倾向于检测与清除操作。
• 单智能体DRL方法泛化能力差，仅在针对特定攻击者时表现良好，或在同时训练多个攻击者时整体表现不佳。
• 集成方法提供了广泛的防御覆盖，但因涉及多个智能体及动作选择逻辑，导致计算与推理时间成本较高。