[论文解读] The Case for Retraining of ML Models for IoT Device Identification at the Edge

Roman Kolcun, Diana Andreea Popescu+6 more|arXiv (Cornell University)|Nov 17, 2020

Internet Traffic Analysis and Secure E-voting参考文献 37被引用 17

一句话总结

本文提出了一种基于边缘的机器学习模型微调方法，利用本地网络流量数据实现对物联网设备的精准识别。通过在设备端使用家庭特异性数据对神经网络模型进行微调，该方法在动态家庭物联网环境中实现了超过80%的设备识别准确率和90%的类别分类F1得分，表明持续的本地模型更新对于应对准确性衰减至关重要。

ABSTRACT

Internet-of-Things (IoT) devices are known to be the source of many security problems, and as such they would greatly benefit from automated management. This requires robustly identifying devices so that appropriate network security policies can be applied. We address this challenge by exploring how to accurately identify IoT devices based on their network behavior, using resources available at the edge of the network. In this paper, we compare the accuracy of five different machine learning models (tree-based and neural network-based) for identifying IoT devices by using packet trace data from a large IoT test-bed, showing that all models need to be updated over time to avoid significant degradation in accuracy. In order to effectively update the models, we find that it is necessary to use data gathered from the deployment environment, e.g., the household. We therefore evaluate our approach using hardware resources and data sources representative of those that would be available at the edge of the network, such as in an IoT deployment. We show that updating neural network-based models at the edge is feasible, as they require low computational and memory resources and their structure is amenable to being updated. Our results show that it is possible to achieve device identification and categorization with over 80% and 90% accuracy respectively at the edge.

研究动机与目标

• 为解决静态预训练机器学习模型在长期用于物联网设备识别时准确率持续下降的关键问题。
• 评估是否可通过使用家庭本地网络数据在边缘端对模型进行微调，以维持高识别准确率。
• 确定在资源受限的边缘设备（如树莓派）上更新机器学习模型的可行性。
• 评估在神经网络中冻结层对边缘微调过程中训练速度和模型准确率的影响。
• 证明全局训练的模型在不同家庭之间表现失败，从而凸显本地适应的必要性。

提出的方法

• 在大规模测试平台中，使用来自43个物联网设备的数据包追踪数据，对五种机器学习模型——随机森林、决策树以及三种神经网络架构——进行训练与评估。
• 持续监控模型准确率以检测性能退化，并使用家庭部署环境中收集的本地数据执行模型微调。
• 在树莓派4上实现边缘微调，以模拟真实网关的资源约束，评估计算与内存开销。
• 对神经网络应用层冻结技术以降低训练成本，并量化不同冻结配置对推理准确率的影响。
• 使用同一家庭的主动网络流量数据对模型进行微调，并在家庭内部与跨家庭测试集上评估性能。
• 以F1得分和准确率为关键指标，评估设备与类别分类的性能表现。

实验结果

研究问题

• RQ1 在不进行微调的情况下，物联网设备识别的机器学习模型能否长期维持高准确率？
• RQ2 与全局训练模型相比，使用本地家庭网络数据对模型进行微调是否能显著提升识别准确率？
• RQ3 在资源受限设备（如树莓派）上执行模型微调是否可行？
• RQ4 在神经网络中冻结层在多大程度上能减少训练时间，同时不显著降低模型准确率？
• RQ5 在某一家庭上训练的模型，其泛化能力如何？是否适用于设备组成和使用模式不同的其他家庭？

主要发现

• 所有五种评估的模型——基于树的模型与神经网络模型——均表现出显著的准确率衰减，从第一天的78%下降至两周后的52%。
• 在空闲状态数据上训练的模型，在同一测试平台的活跃数据上测试时准确率仅为30%，在另一测试平台的数据上则降至15%。
• 在某一家庭的活跃本地数据上对模型进行微调，可将其设备识别准确率从30%提升至78%，但对其他家庭的影响极小（仅提升至33%）。
• 在树莓派4上进行边缘微调是可行的，模型更新所需的计算与内存资源极低。
• 通过冻结神经网络中的层，训练时间减少了66%以上，且模型准确率下降不足2%。
• 当使用本地数据对模型进行微调时，设备类别分类的F1得分超过90%，证实了其在策略执行中的高可靠性。