[论文解读] Understanding the Safety Requirements for Learning-based Power Systems Operations

Yize Chen, Daniel Arnold+2 more|arXiv (Cornell University)|Oct 11, 2021

Smart Grid Security and Resilience参考文献 26被引用 4

一句话总结

本文通過展示對系統測量值的最小對抗性擾動可嚴重降低控制器性能並違反運行約束，研究了基於強化學習（RL）的電力系統運營的安全性與魯棒性。作者通過對電壓調節和網絡拓撲控制任務的黑箱攻擊，表明在現實電力系統數據上訓練的RL智能體對微小輸入擾動極其敏感，導致不安全的潮流和不穩定，強調必須在數據驅動的電網控制設計中整合安全與可靠性考量。

ABSTRACT

Recent advancements in machine learning and reinforcement learning have brought increased attention to their applicability in a range of decision-making tasks in the operations of power systems, such as short-term emergency control, Volt/VAr control, long-term residential demand response and battery energy management. Despite the promises of providing strong representation of complex system dynamics and fast, efficient learned operation strategies, the safety requirements of such learning paradigms are less discussed. This paper explores the design requirements on both data and model side of such learning algorithms by exploiting the impacts of adversarial attacks on safety critical system operations. Case studies performed on both voltage regulation and topology control tasks demonstrated the potential vulnerabilities of the standard reinforcement learning algorithms, and possible measures of machine learning robustness and security are discussed for power systems operation tasks.

研究动机与目标

• 研究在對抗性輸入擾動下，基於學習的電力系統運營的安全性與魯棒性。
• 評估強化學習智能體在現實電力系統任務（如電壓調節和拓撲控制）中的脆弱性。
• 識別在缺乏基於模型的安全保障時，數據驅動控制系統中的關鍵安全缺口。
• 提出一種使用最少攻擊者知識的黑箱攻擊策略，用於評估電力系統運營中對抗性魯棒性的框架。
• 主張在機器學習控制器的設計中整合安全與可靠性目標，以應對電力系統的挑戰。

提出的方法

• 設計一種黑箱對抗攻擊策略，通過對系統狀態觀測值（如負荷與發電配置）施加極小擾動（≤5%），以欺騙RL智能體。
• 利用狀態估計與通信網絡介面，在不獲取模型的情況下，將對抗性噪聲注入實時測量數據。
• 評估擾動對電壓調節與拓撲控制任務中動作輸出及後續潮流配置的影響。
• 採用基於查詢的優化方法，以低計算開銷生成對抗樣本（每步平均0.5秒）。
• 利用公開測試平台（如L2RPN與IEEE 39-bus系統）模擬真實電網動態，驗證攻擊有效性。
• 在GitHub上發布模擬測試平台與攻擊樣例，以支持電力系統機器學習安全領域的可重現研究。

实验结果

研究问题

• RQ1 基於強化學習的控制器在電力系統運營中，對輸入測量值的微小、對抗性擾動有多脆弱？
• RQ2 對抗攻擊對電壓調節與拓撲控制任務中RL智能體的物理後果為何？
• RQ3 僅具備最少知識（無模型訪問權限）的黑箱攻擊者是否能破壞已訓練的RL智能體並導致約束違規？
• RQ4 對抗性擾動如何影響在真實電力系統數據上訓練的RL智能體的決策過程與動作選擇？
• RQ5 需要哪些設計原則與防護機制，才能提升數據驅動電力系統控制器對此類攻擊的魯棒性？

主要发现

• 對負荷與發電配置僅施加5%的對抗性擾動，即導致訓練後的RL智能體在無功功率注入決策上明顯偏離最佳值。
• 在IEEE 39-bus電壓調節任務中，對抗攻擊導致潮流違規超出基於模型方法安全運行範圍的三倍以上。
• L2RPN測試案例顯示，頂尖動作集的Q值相似性使RL智能體特別容易受到狀態偽造的影響，從而提高攻擊成功率。
• 黑箱攻擊在每步平均攻擊向量計算時間低於0.5秒的情況下，仍能有效操控RL智能體行為。
• 研究表明，即使攻擊者知識極少，對抗性輸入仍可引發實時電力系統運營中的級聯不穩定與約束違規。
• 研究結果強調，現有的基於RL的控制器缺乏內在的安全保障，易受數據層次的操縱，因此必須在AI驅動的電網運營中推行安全原生設計。