[论文解读] Network Environment Design for Autonomous Cyberdefense

Andrés Molina–Markham, Cory Miniter+2 more|arXiv (Cornell University)|Mar 13, 2021

Advanced Malware Detection Techniques参考文献 24被引用 24

一句话总结

本文提出FARLAND，一种新颖的框架，用于设计自适应网络环境，以训练强化学习（RL）智能体实现自主网络防御。通过支持对复杂、动态演变的威胁（包括投毒攻击和规避攻击）进行仿真与仿真，FARLAND实现了可扩展、鲁棒的RL训练，用于网络重构，证明了智能体即使在复杂对抗性操纵下也能学习到有效的防御策略。

ABSTRACT

Reinforcement learning (RL) has been demonstrated suitable to develop agents that play complex games with human-level performance. However, it is not understood how to effectively use RL to perform cybersecurity tasks. To develop such understanding, it is necessary to develop RL agents using simulation and emulation systems allowing researchers to model a broad class of realistic threats and network conditions. Demonstrating that a specific RL algorithm can be effective for defending a network under certain conditions may not necessarily give insight about the performance of the algorithm when the threats, network conditions, and security goals change. This paper introduces a novel approach for network environment design and a software framework to address the fundamental problem that network defense cannot be defined as a single game with a simple set of fixed rules. We show how our approach is necessary to facilitate the development of RL network defenders that are robust against attacks aimed at the agent's learning. Our framework enables the development and simulation of adversaries with sophisticated behavior that includes poisoning and evasion attacks on RL network defenders.

研究动机与目标

• 解决在网络安全防御中训练RL智能体时缺乏可扩展、真实的仿真框架的问题。
• 支持开发RL智能体，使其能够在动态且对抗性条件下学习网络重构以缓解网络攻击。
• 支持对基于RL的防御者在针对性攻击（如观测投毒和规避攻击）下的评估。
• 提供一种灵活、可组合的环境设计框架，支持逐步提升威胁与网络复杂度。
• 弥合仿真（速度快）与仿真（保真度高）之间的差距，以在保持真实感的同时加速策略学习。

提出的方法

• 使用生成式程序建模网络拓扑，以及灰色（正常用户）和红色（攻击者）智能体的行为，采用概率性、部分可观测的动力学机制。
• 通过RLLib将RL算法训练与环境仿真解耦，实现在GPU资源上的分布式、可扩展训练。
• 采用双层架构：快速仿真用于高吞吐量训练，精确仿真用于验证和参数校准。
• 暴露可调参数以控制网络复杂度、威胁行为和安全策略，支持课程学习与自动领域随机化。
• 支持指定蓝方智能体的动作、观测和奖励函数，以引导策略学习朝向现实的安全目标。
• 将遍历策略约束集成到环境设计中，以确保学习到的网络重构动作保持网络不变量（如区域隔离和操作顺序）。

实验结果

研究问题

• RQ1 如何设计网络环境，使其复杂度逐步提升，以支持基于RL的网络防御者进行课程学习？
• RQ2 当在包含观测投毒和规避攻击的对抗性条件下训练时，RL智能体在多大程度上能学习到有效的网络重构策略？
• RQ3 基于RL的防御者在不同网络规模和威胁配置下的性能表现如何？其训练与评估的计算成本是多少？
• RQ4 能否有效结合仿真与仿真，以在基于RL的网络防御中平衡训练速度与策略验证保真度？
• RQ5 需要何种机制来确保学习到的防御者策略保持关键网络不变量（如数据包遍历顺序和分段结构）？

主要发现

• FARLAND支持将网络防御建模为一系列逐步复杂的任务，支持智能体从初学者到超人类水平性能的演进。
• 该框架支持构建执行真实攻击的对手，包括观测投毒和规避攻击，这些攻击在100%的测试案例中成功欺骗了被动的蓝方智能体。
• 在仿真中训练可实现快速经验回放——单个回合可在零点几秒到几分钟内完成；而单核处理器上对100个节点的网络进行仿真则需超过2小时。
• 双层仿真/仿真架构实现了仿真中的高效策略训练与仿真中的策略验证，其中10个节点网络的仿真平均耗时约10分钟，100个节点网络则超过2小时。
• 实验表明，若无主动防御，红方智能体几乎在所有回合中成功外泄敏感数据（如“皇冠宝石”），凸显了鲁棒的基于RL的防御者的重要性。
• FARLAND的设计支持通过参数化概率模型自动扩展环境复杂度，实现自动领域随机化，以支持课程学习。