[论文解读] Studying the Robustness of Anti-adversarial Federated Learning Models Detecting Cyberattacks in IoT Spectrum Sensors

Pedro Miguel Sánchez Sánchez, Alberto Huertas Celdrán+5 more|arXiv (Cornell University)|Jan 31, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了一种新颖的联邦学习（FL）框架，用于在资源受限的物联网频谱传感器中检测频谱感知数据伪造（SSDF）攻击，采用设备行为指纹识别技术。通过四种聚合方法评估了FL在数据和模型投毒攻击下的鲁棒性，结果表明截尾均值和坐标轴中位数可提高系统韧性，尽管任何方法都无法在高比例攻击者情况下保证完全鲁棒性，且在保护隐私的设置下，异常检测优于二元分类。

ABSTRACT

Device fingerprinting combined with Machine and Deep Learning (ML/DL) report promising performance when detecting cyberattacks targeting data managed by resource-constrained spectrum sensors. However, the amount of data needed to train models and the privacy concerns of such scenarios limit the applicability of centralized ML/DL-based approaches. Federated learning (FL) addresses these limitations by creating federated and privacy-preserving models. However, FL is vulnerable to malicious participants, and the impact of adversarial attacks on federated models detecting spectrum sensing data falsification (SSDF) attacks on spectrum sensors has not been studied. To address this challenge, the first contribution of this work is the creation of a novel dataset suitable for FL and modeling the behavior (usage of CPU, memory, or file system, among others) of resource-constrained spectrum sensors affected by different SSDF attacks. The second contribution is a pool of experiments analyzing and comparing the robustness of federated models according to i) three families of spectrum sensors, ii) eight SSDF attacks, iii) four scenarios dealing with unsupervised (anomaly detection) and supervised (binary classification) federated models, iv) up to 33% of malicious participants implementing data and model poisoning attacks, and v) four aggregation functions acting as anti-adversarial mechanisms to increase the models robustness.

研究动机与目标

• 解决资源受限物联网设备（特别是频谱传感器）在行为指纹识别方面缺乏面向联邦学习的数据集的问题。
• 评估联邦模型在使用监督学习（二元分类）和无监督学习（异常检测）方法时检测SSDF攻击的性能。
• 评估在最多33%恶意参与方参与的情况下，联邦学习模型在数据和模型投毒攻击下的鲁棒性。
• 比较四种聚合函数——FedAvg、截尾均值和坐标轴中位数——作为抗对抗机制的有效性。
• 证明联邦学习可在保护数据隐私的前提下，实现与集中式深度学习相当的检测性能。

提出的方法

• 构建了一个公开可用的数据集，记录了四款ElectroSense频谱传感器在正常状态和SSDF影响下的行为，使用了三类Raspberry Pi设备。
• 监控了75个内部系统事件（CPU、内存、网络、文件系统），涵盖两种正常行为版本和八种SSDF攻击变体。
• 设计了四种联邦学习场景：两种用于异常检测，两种用于二元分类，采用保护隐私的模型聚合联邦学习方法。
• 实现了三种抗对抗聚合机制：FedAvg、截尾均值（两种变体）和坐标轴中位数，以减轻投毒攻击的影响。
• 在四种攻击类型下评估了模型性能：标签翻转、模型抵消、随机上传和数据投毒，攻击参与方数量从0%到33%不等。
• 使用F1值和AUC等指标，比较联邦学习与集中式深度学习基线模型在检测性能上的差异，重点关注零日攻击的检测能力。

实验结果

研究问题

• RQ1 联邦学习结合设备行为指纹识别，能否在资源受限的频谱传感器上实现与集中式深度学习相当的SSDF攻击检测性能？
• RQ2 在最多33%恶意参与方存在的情况下，数据和模型投毒攻击对联邦模型鲁棒性有何影响？
• RQ3 在基于联邦学习的SSDF检测中，哪种聚合函数——FedAvg、截尾均值或坐标轴中位数——能提供对对抗攻击最有效的防御？
• RQ4 在联邦学习和隐私保护设置下，异常检测是否在鲁棒性和检测准确率方面优于二元分类？
• RQ5 抗对抗聚合机制在多大程度上能过滤恶意更新，同时保持诚实参与方贡献的完整性？

主要发现

• 结合行为指纹识别的联邦学习在检测性能上可与集中式深度学习模型相媲美，尤其在异常检测场景中表现突出。
• FedAvg聚合方法在投毒攻击下极不稳定，恶意参与方产生的极端值会严重扭曲全局模型平均值。
• 截尾均值聚合相比FedAvg具有更好的鲁棒性，能有效过滤一定比例内的极端值，尤其在RPi4设备上优势明显。
• 坐标轴中位数对极端值具有强抗性，但在异构联邦设置中表现不稳定，尤其在恶意参与方数量较少时。
• 在标签翻转和模型抵消攻击下，截尾均值和坐标轴中位数相比FedAvg能减少性能下降，但仍导致与干净训练相比显著的检测准确率损失。
• 在联邦学习环境中，异常检测始终优于二元分类，尤其在隐私约束和对抗条件下，因其无需标注数据即可检测零日攻击。