[论文解读] Reliability and Robustness analysis of Machine Learning based Phishing URL Detectors

Bushra Sabir, M. Ali Babar+2 more|arXiv (Cornell University)|May 18, 2020

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一套全面的方法论，用于评估50种最先进的基于机器学习的网络钓鱼URL（MLPU）检测器的可靠性和鲁棒性。该研究提出了URLBUG，一种成本低廉的对抗性URL生成器，可生成语法正确、可注册的URL，其年均注册成本为11.99美元，其中63.94%的URL被用于恶意目的。研究发现，高性能的MLPU模型（中位MCC为0.92）在面对对抗性输入时性能急剧下降（中位MCC降至0.02），暴露出当前系统中存在关键的安全漏洞。

ABSTRACT

ML-based Phishing URL (MLPU) detectors serve as the first level of defence to protect users and organisations from being victims of phishing attacks. Lately, few studies have launched successful adversarial attacks against specific MLPU detectors raising questions about their practical reliability and usage. Nevertheless, the robustness of these systems has not been extensively investigated. Therefore, the security vulnerabilities of these systems, in general, remain primarily unknown which calls for testing the robustness of these systems. In this article, we have proposed a methodology to investigate the reliability and robustness of 50 representative state-of-the-art MLPU models. Firstly, we have proposed a cost-effective Adversarial URL generator URLBUG that created an Adversarial URL dataset. Subsequently, we reproduced 50 MLPU (traditional ML and Deep learning) systems and recorded their baseline performance. Lastly, we tested the considered MLPU systems on Adversarial Dataset and analyzed their robustness and reliability using box plots and heat maps. Our results showed that the generated adversarial URLs have valid syntax and can be registered at a median annual price of \$11.99. Out of 13\% of the already registered adversarial URLs, 63.94\% were used for malicious purposes. Moreover, the considered MLPU models Matthew Correlation Coefficient (MCC) dropped from a median 0.92 to 0.02 when tested against $Adv_\mathrm{data}$, indicating that the baseline MLPU models are unreliable in their current form. Further, our findings identified several security vulnerabilities of these systems and provided future directions for researchers to design dependable and secure MLPU systems.

研究动机与目标

• 研究最先进的MLPU检测器在对抗性输入下的鲁棒性和可靠性。
• 识别现有MLPU模型中可能被现实世界网络钓鱼攻击利用的安全漏洞。
• 开发一种可扩展且成本低廉的方法，用于生成真实感强的对抗性URL，以测试模型的鲁棒性。
• 为设计更安全、更可靠的MLPU系统提供可操作的见解。

提出的方法

• 提出URLBUG，一种针对性的对抗性URL生成器，通过词级别和字符级别的扰动生成语法正确、可注册的URL。
• 基于报告的架构和特征集，复现了50个具有代表性的MLPU模型，涵盖传统机器学习和深度学习模型。
• 通过应用特定扰动（如TLD替换、相似形符、字符级替换）生成URL，构建对抗性URL数据集（$Adv_{\mathrm{data}}$）。
• 使用标准指标（包括Matthew相关系数（MCC）、准确率和F1值）评估模型在$Adv_{\mathrm{data}}$上的性能。
• 通过箱线图和热力图可视化结果，比较不同模型、特征和扰动类型之间的鲁棒性差异。
• 开展消融研究，识别在对抗性攻击下最具鲁棒性的特征类型和分类器。

实验结果

研究问题

• RQ1 现有MLPU模型在检测通过真实、可注册的扰动生成的对抗性URL时效果如何？
• RQ2 生成的对抗性URL在注册成本和实际用于网络钓鱼活动方面的现实可行性与恶意利用价值如何？
• RQ3 在网络钓鱼URL检测任务中，哪些模型架构和特征表示对对抗性扰动最具鲁棒性？
• RQ4 当前MLPU检测器中存在哪些关键安全漏洞，导致在对抗性条件下出现高失败率？
• RQ5 计算机视觉和自然语言处理领域的鲁棒性度量是否可适配至网络钓鱼检测领域，以实现黑盒评估？

主要发现

• URLBUG生成的对抗性URL语法正确，可注册，年均注册成本为11.99美元，表明其具备现实可行性。
• 在已注册的13%对抗性URL中，有63.94%被实际用于恶意目的，证实其具备实际威胁潜力。
• 50个MLPU模型的中位Matthew相关系数（MCC）在对抗性数据集上从0.92骤降至0.02，表明其可靠性严重下降。
• 基础词汇和外部特征（如URL长度、TLD、可疑关键词的存在）表现出更高鲁棒性，在对抗性测试下误分类率低于30%。
• 基于LSTM的分类器对路径级别对抗性扰动的检测准确率达到99.99%，表明其对结构变化高度敏感。
• 字符级别扰动导致最高失败率，90%的模型将此类对抗性URL误分类，凸显当前模型中的关键漏洞。