[论文解读] Multi-Source Data Fusion for Cyberattack Detection in Power Systems

Abhijeet Sahu, Zeyu Mao+5 more|arXiv (Cornell University)|Jan 18, 2021

Network Security and Intrusion Detection参考文献 69被引用 4

一句话总结

本文提出了一种多源数据融合框架，通过整合实时测功台上来自网络、物理和安全领域的数据，提升电力系统中的网络攻击检测能力。通过时间同步预处理与机器学习模型融合异构传感器数据，该方法在纯网络检测基础上将F1得分最高提升20%，且协同训练半监督学习方法的性能达到或超过监督学习方法。

ABSTRACT

Cyberattacks can cause a severe impact on power systems unless detected early. However, accurate and timely detection in critical infrastructure systems presents challenges, e.g., due to zero-day vulnerability exploitations and the cyber-physical nature of the system coupled with the need for high reliability and resilience of the physical system. Conventional rule-based and anomaly-based intrusion detection system (IDS) tools are insufficient for detecting zero-day cyber intrusions in the industrial control system (ICS) networks. Hence, in this work, we show that fusing information from multiple data sources can help identify cyber-induced incidents and reduce false positives. Specifically, we present how to recognize and address the barriers that can prevent the accurate use of multiple data sources for fusion-based detection. We perform multi-source data fusion for training IDS in a cyber-physical power system testbed where we collect cyber and physical side data from multiple sensors emulating real-world data sources that would be found in a utility and synthesizes these into features for algorithms to detect intrusions. Results are presented using the proposed data fusion application to infer False Data and Command injection-based Man-in- The-Middle (MiTM) attacks. Post collection, the data fusion application uses time-synchronized merge and extracts features followed by pre-processing such as imputation and encoding before training supervised, semi-supervised, and unsupervised learning models to evaluate the performance of the IDS. A major finding is the improvement of detection accuracy by fusion of features from cyber, security, and physical domains. Additionally, we observed the co-training technique performs at par with supervised learning methods when fed with our features.

研究动机与目标

• 解决传统基于规则和异常检测的入侵检测系统（IDS）在检测工业控制系统（ICS）网络中零日攻击时的局限性。
• 克服来自网络、物理和安全领域异构数据融合的挑战，这些数据具有不同的时间分辨率和数据特征。
• 评估数据融合、预处理和机器学习技术在实时网络物理测功台中对入侵检测准确率的影响。
• 证明跨领域融合网络与物理特征可显著提升检测性能，优于单一领域方法。
• 验证协同训练半监督学习在真实场景中有限标注数据条件下的可行性和有效性。

提出的方法

• 该框架从测功台中采集来自仿真网络（Snort、网络日志）、物理（PMUs、SCADA、智能电表）和安全（IDS警报）传感器的实时数据。
• 通过多源数据流的时间同步合并实现数据融合，随后进行缺失值填补、编码和归一化等预处理操作。
• 从网络、物理和安全领域提取特征，并进行跨领域融合，以丰富检测模型的表征能力。
• 在融合数据集上训练并评估监督学习、半监督学习（协同训练）以及无监督学习（k-means、流形学习）模型。
• 应用流形学习技术（LLE、MDS、Isomap、t-SNE、谱方法）以评估降维带来的益处，并在不同分类器间比较性能。
• 通过F1得分、精确率和召回率对多种分类器（SVC、k-NN、DT、RF、GNB、BNB、MLP）在入侵检测任务（包括虚假数据注入攻击和中间人攻击）中的表现进行评估。

实验结果

研究问题

• RQ1 与单一领域检测相比，融合来自网络、物理和安全领域的数据是否能提升电力系统工业控制系统中入侵检测的准确性？
• RQ2 预处理操作（包括缺失值填补和编码）对融合网络物理入侵检测中机器学习模型性能有何影响？
• RQ3 在标注数据有限的情况下，协同训练半监督学习相对于完全监督学习的性能表现如何？
• RQ4 将流形学习应用于融合的网络物理特征时，是否能提升检测准确率，还是仅对可视化有帮助？
• RQ5 不同数据分辨率和时间同步挑战如何影响实时工业控制系统环境中多源数据融合的有效性？

主要发现

• 融合网络与物理特征相比仅使用网络特征，平均使检测F1得分提升15%-20%。
• 将Snort的标签替换为入侵事件的时间戳，平均使F1得分提升10%-20%。
• 协同训练半监督学习在性能上与或优于监督学习，对某些分类器（如LR和GNB）的F1得分最高提升5%。
• k-means聚类算法在无监督方法中表现出鲁棒性和高精度，在评估中优于其他聚类方法。
• LLE、MDS和Isomap等流形学习技术未提升分类准确率，因此不推荐用于性能提升，尽管它们可能有助于可视化。
• 决策树和随机森林分类器在结合流形学习后性能差异极小，表明这些模型无需使用此类技术。