[论文解读] The Adversarial Resilience Learning Architecture for AI-based Modelling, Exploration, and Operation of Complex Cyber-Physical Systems

Eric MSP Veith, Nils Wenninghoff+1 more|arXiv (Cornell University)|May 27, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用 4

一句话总结

本文提出对抗鲁棒性学习（ARL），一种基于人工智能的新框架，通过使用对抗性的深度强化学习（DRL）智能体——攻击者与防御者——来探索、测试并提升复杂网络物理系统（CPS）（如电网）的鲁棒性。在类似夺旗赛（Capture-The-Flag）的竞赛环境中，ARL成功识别出攻击向量并生成了具有鲁棒性的运行策略，证明其作为测试和训练基于多样化DRL算法的鲁棒CPS控制系统基准的可行性。

ABSTRACT

Modern algorithms in the domain of Deep Reinforcement Learning (DRL) demonstrated remarkable successes; most widely known are those in game-based scenarios, from ATARI video games to Go and the StarCraft~ extsc{II} real-time strategy game. However, applications in the domain of modern Cyber-Physical Systems (CPS) that take advantage a vast variety of DRL algorithms are few. We assume that the benefits would be considerable: Modern CPS have become increasingly complex and evolved beyond traditional methods of modelling and analysis. At the same time, these CPS are confronted with an increasing amount of stochastic inputs, from volatile energy sources in power grids to broad user participation stemming from markets. Approaches of system modelling that use techniques from the domain of Artificial Intelligence (AI) do not focus on analysis and operation. In this paper, we describe the concept of Adversarial Resilience Learning (ARL) that formulates a new approach to complex environment checking and resilient operation: It defines two agent classes, attacker and defender agents. The quintessence of ARL lies in both agents exploring the system and training each other without any domain knowledge. Here, we introduce the ARL software architecture that allows to use a wide range of model-free as well as model-based DRL-based algorithms, and document results of concrete experiment runs on a complex power grid.

研究动机与目标

• 为解决复杂网络物理系统（CPS）全系统测试与鲁棒运行缺乏全面、基于人工智能的方法论的问题。
• 弥合现有研究中AI仅用于控制而非系统性探索、漏洞检测与鲁棒性训练的空白。
• 开发一种与领域无关、基于软件架构的框架，支持在对抗环境中使用多种无模型与基于模型的DRL算法。
• 提供一个基准环境，用于评估和比较在真实、复杂的CPS场景（如电网）中应用的DRL算法。

提出的方法

• ARL框架采用两个独立的DRL智能体——攻击者与防御者——在模拟的CPS环境中以竞争性、协同进化的方式运行。
• 攻击者智能体探索系统以发现漏洞并利用系统内依赖关系，而防御者则学习对抗攻击并维持系统稳定。
• 该架构支持集成多种DRL算法，包括深度Q网络（DQN）、Rainbow DQN、优势行动-评论家（A2C）和MuZero，以支持对比分析。
• 系统状态通过传感器和执行器数据表示，动作映射为对发电机和可调控负荷的控制决策。
• 框架采用类似夺旗赛（CTF）的竞赛设置，智能体竞争控制系统组件，结果在多次运行后取平均值。
• 软件架构确保可复现性与模块化，支持灵活插拔不同的DRL算法与系统模型。

实验结果

研究问题

• RQ1 在缺乏先验领域知识的情况下，对抗性DRL智能体能否有效发现复杂网络物理系统中隐藏的漏洞与依赖关系？
• RQ2 当应用于真实CPS（如电网）时，不同DRL算法在对抗环境中的表现如何？
• RQ3 防御者智能体在与自适应攻击者的协同进化过程中，能在多大程度上学习到鲁棒的运行策略？
• RQ4 ARL框架能否作为可扩展的基准，用于评估和比较CPS中基于DRL的控制与分析方法？
• RQ5 攻击者与防御者智能体的行为是否能反映真实操作员的行为模式以及系统关键节点的优先级？

主要发现

• 攻击者智能体在未掌握网络拓扑信息的情况下成功识别并利用了系统弱点，证实对抗策略可通过DRL训练自然涌现。
• 防御者智能体优先控制了系统关键的发电机与负荷，与专家操作员行为一致，展示了有效的鲁棒性策略。
• ARL框架使多种DRL算法（包括Rainbow DQN、A2C和MuZero）能够在统一、可复现的架构中用于CPS分析。
• 攻击者利用节点间的同步效应以最大化系统破坏，凸显了时间协调在系统漏洞中的重要性。
• 赛事中平均动作分布表明，攻击者有效利用了高影响力节点，而防御者则聚焦于关键基础设施组件。
• 结果验证了ARL作为生成训练数据、检测缺陷并提升复杂CPS（特别是电网）鲁棒性的可行且高效框架。