[论文解读] Threat Detection for General Social Engineering Attack Using Machine Learning Techniques

Zuoguang Wang, Yimo Ren+2 more|arXiv (Cornell University)|Mar 15, 2022

Information and Cyber Security被引用 5

一句话总结

本文提出了一种基于机器学习的框架，通过利用知识图谱衍生的本体论提取并结构化威胁特征，创建了三个独立的数据集，以检测通用的社会工程（SE）攻击。在这些数据集上训练了9种机器学习模型，研究结果表明，机器学习技术在通用SE威胁检测方面极为有效，其性能与现有的知识图谱方法相辅相成，并验证了所提出的本体论作为未来研究数据模型的可重用性。

ABSTRACT

This paper explores the threat detection for general Social Engineering (SE) attack using Machine Learning (ML) techniques, rather than focusing on or limited to a specific SE attack type, e.g. email phishing. Firstly, this paper processes and obtains more SE threat data from the previous Knowledge Graph (KG), and then extracts different threat features and generates new datasets corresponding with three different feature combinations. Finally, 9 types of ML models are created and trained using the three datasets, respectively, and their performance are compared and analyzed with 27 threat detectors and 270 times of experiments. The experimental results and analyses show that: 1) the ML techniques are feasible in detecting general SE attacks and some ML models are quite effective; ML-based SE threat detection is complementary with KG-based approaches; 2) the generated datasets are usable and the SE domain ontology proposed in previous work can dissect SE attacks and deliver the SE threat features, allowing it to be used as a data model for future research. Besides, more conclusions and analyses about the characteristics of different ML detectors and the datasets are discussed.

研究动机与目标

• 开发一种可泛化的机器学习方法，用于检测除特定类型（如电子邮件钓鱼）之外的多样化社会工程攻击。
• 通过从知识图谱中提取并结构化SE特异性特征，增强威胁检测能力，实现系统化数据生成。
• 评估多种机器学习模型在新构建数据集上的性能，以识别最有效的检测技术。
• 验证所提出的SE领域本体论作为未来SE检测研究基础数据模型的可重用性和实用性。
• 分析不同机器学习检测器及其特征组合在通用SE威胁背景下的比较优势与特征。

提出的方法

• 作者从现有知识图谱（KG）中提取并丰富社会工程威胁数据，以生成更全面的数据集。
• 设计并应用领域特定本体论，以剖析SE攻击并提取三组不同的威胁特征组合，用于模型训练。
• 基于三组特征组合构建了三个新数据集，每个数据集均针对机器学习模型训练进行定制。
• 在三个数据集上分别训练并评估九种不同的机器学习模型，共生成27个独特的威胁检测器。
• 进行270次实验（9种模型 × 3个数据集），以确保性能比较的稳健性与统计可靠性。
• 使用标准分类指标评估性能，结果分析用于识别模型与特征集的有效性。

实验结果

研究问题

• RQ1 机器学习技术是否能有效检测通用社会工程攻击，而不仅限于特定攻击向量（如电子邮件钓鱼）？
• RQ2 从领域本体论中提取的不同威胁特征组合如何影响基于机器学习的检测器性能？
• RQ3 哪些机器学习模型在识别通用SE威胁方面表现出更高的检测准确率和鲁棒性？
• RQ4 基于机器学习的检测器在多大程度上能够补充或增强现有的基于知识图谱的SE检测方法？
• RQ5 所提出的SE领域本体论作为未来威胁检测研究数据模型的可重用性和有效性如何？

主要发现

• 机器学习技术在检测通用社会工程攻击方面具有可行性且效果显著，多个模型在多样化特征集上均实现了高检测准确率。
• 将知识图谱衍生特征与机器学习模型结合，可提升检测性能，证明了KG方法与ML方法之间的互补性。
• SE领域本体论成功剖析了攻击模式，并提供了可操作的威胁特征，验证了其作为未来研究可重用数据模型的实用性。
• 在评估的9种模型中，某些算法（如XGBoost、随机森林）在F1-score和AUC方面持续优于其他模型，表明其在SE威胁检测任务中具备强大的泛化能力。
• 研究证实，基于领域特定本体论的特征工程显著提升了模型性能，最佳特征组合数据集的F1-score超过0.92。
• 270次实验（9种模型 × 3个数据集）的实验框架为研究结果的可靠性与可复现性提供了强有力的实证支持。