[论文解读] No Need to Know Physics: Resilience of Process-based Model-free Anomaly Detection for Industrial Control Systems

Alessandro Erba, Nils Ole Tippenhauer|arXiv (Cornell University)|Dec 7, 2020

Smart Grid Security and Resilience参考文献 21被引用 5

一句话总结

本文提出了一种通用框架，用于生成合成传感器欺骗攻击，可在不掌握物理系统知识的情况下绕过工业控制系统（ICS）中的无模型过程型异常检测器。尽管初始检测性能较强，但四个评估检测器中有三个在这些攻击下失效，原因是对时空相关性的建模不足；而一个具备韧性的检测器在未使用无约束重放攻击时仍能保持性能。

ABSTRACT

In recent years, a number of process-based anomaly detection schemes for Industrial Control Systems were proposed. In this work, we provide the first systematic analysis of such schemes, and introduce a taxonomy of properties that are verified by those detection systems. We then present a novel general framework to generate adversarial spoofing signals that violate physical properties of the system, and use the framework to analyze four anomaly detectors published at top security conferences. We find that three of those detectors are susceptible to a number of adversarial manipulations (e.g., spoofing with precomputed patterns), which we call Synthetic Sensor Spoofing and one is resilient against our attacks. We investigate the root of its resilience and demonstrate that it comes from the properties that we introduced. Our attacks reduce the Recall (True Positive Rate) of the attacked schemes making them not able to correctly detect anomalies. Thus, the vulnerabilities we discovered in the anomaly detectors show that (despite an original good detection performance), those detectors are not able to reliably learn physical properties of the system. Even attacks that prior work was expected to be resilient against (based on verified properties) were found to be successful. We argue that our findings demonstrate the need for both more complete attacks in datasets, and more critical analysis of process-based anomaly detectors. We plan to release our implementation as open-source, together with an extension of two public datasets with a set of Synthetic Sensor Spoofing attacks as generated by our framework.

研究动机与目标

• 系统分析工业控制系统（ICS）中无模型过程型异常检测方案的韧性。
• 识别现有异常检测器因对物理过程特性建模不足而产生的漏洞。
• 开发一种可推广的框架，用于生成可逃避检测的对抗性欺骗信号，同时保持隐蔽性。
• 证明攻击者无需了解物理系统即可绕过检测器，挑战了关于隐蔽性的既有假设。
• 倡导构建增强型数据集，并使用有针对性的、具备物理意识的对抗性攻击对异常检测器进行关键性评估。

提出的方法

• 提出异常检测器验证的物理属性分类：时间一致性、空间一致性及统计特性。
• 设计一种通用框架，仅基于对正常系统行为的被动观测来生成合成传感器欺骗攻击。
• 构建欺骗信号，以保留统计和时间模式，同时违反物理约束（如恒定值或预计算的噪声模式）。
• 实施包括重放、恒定欺骗和基于噪声的模式攻击，这些攻击模仿正常运行但可逃避检测。
• 使用扩展了生成欺骗攻击的现实世界 ICS 数据集对检测器进行评估。
• 采用召回率（真正例率）度量检测器性能，以量化在对抗条件下的检测失败程度。

实验结果

研究问题

• RQ1 无模型异常检测器在 ICS 中是否可在不掌握物理系统知识的情况下被对抗性欺骗攻击绕过？
• RQ2 哪些物理属性（时间、空间、统计）对检测器抵御欺骗攻击的韧性至关重要？
• RQ3 为何在相同对抗攻击下，部分检测器保持韧性而另一些则失效？
• RQ4 现有公开数据集在多大程度上无法反映现实的对抗性操纵模式？
• RQ5 能否构建一个通用框架，以系统化方式生成可逃避检测的欺骗信号，用于评估检测器的鲁棒性？

主要发现

• 四个评估的无模型异常检测器中有三个对合成传感器欺骗攻击呈脆弱性，其召回率分别从 0.63 降至 0.06、0.47 降至 0.0，以及 0.28 降至 0.0。
• 即使是最简单的恒定值欺骗攻击，也使两个检测器的召回率降至 0.0，表明基础操纵即可逃避检测。
• 具备韧性的检测器（Chen et al. [8]）在攻击者未使用无约束重放时仍保持性能，表明其依赖于对时间与空间相关性的建模。
• 从模型中移除时间与空间特征会使原本具备韧性的检测器变得脆弱，证明这些特征是鲁棒性的关键。
• 该框架成功生成了人类可检测但检测器无法识别的欺骗信号，证明了攻击的有效性与隐蔽性。
• 本研究揭示，基于已验证物理属性的检测器韧性假设是不足的，因为违反这些属性的攻击仍可逃避检测。