[论文解读] PMANet: Malicious URL detection via post-trained language model guided multi-level feature attention network

Ruitong Liu, Yanbin Wang+5 more|arXiv (Cornell University)|Nov 21, 2023

Spam and Phishing Detection被引用 4

一句话总结

该论文提出PMANet，一种基于预训练语言模型引导的多层次特征注意力网络，用于恶意URL检测。该方法利用CharBERT提取分层字符级嵌入，应用层感知注意力机制实现自适应特征加权，并通过空间金字塔池化实现多尺度特征聚合。在基准数据集上，该方法相较于最先进基线模型实现了8.43%的峰值准确率提升。

ABSTRACT

The proliferation of malicious URLs has made their detection crucial for enhancing network security. While pre-trained language models offer promise, existing methods struggle with domain-specific adaptability, character-level information, and local-global encoding integration. To address these challenges, we propose PMANet, a pre-trained Language Model-Guided multi-level feature attention network. PMANet employs a post-training process with three self-supervised objectives: masked language modeling, noisy language modeling, and domain discrimination, effectively capturing subword and character-level information. It also includes a hierarchical representation module and a dynamic layer-wise attention mechanism for extracting features from low to high levels. Additionally, spatial pyramid pooling integrates local and global features. Experiments on diverse scenarios, including small-scale data, class imbalance, and adversarial attacks, demonstrate PMANet's superiority over state-of-the-art models, achieving a 0.9941 AUC and correctly detecting all 20 malicious URLs in a case study. Code and data are available at https://github.com/Alixyvtte/Malicious-URL-Detection-PMANet.

研究动机与目标

• 应对日益增长的欺骗性、品牌仿冒型钓鱼URL带来的挑战，这些URL可规避传统检测方法。
• 克服基于规则、启发式方法及黑名单系统在应对零日攻击与持续演化的威胁时的局限性。
• 利用深度学习与预训练语言模型实现自动化特征提取，提升检测准确率。
• 增强模型在跨数据集评估与对抗性攻击场景下的鲁棒性与泛化能力。
• 开发一种高效、端到端的框架，最大限度减少人工特征工程与计算资源消耗。

提出的方法

• 采用CharBERT——一种字符感知与子词感知的预训练语言模型——作为URL表示的基础编码器。
• 采用分层特征提取模块，从CharBERT的不同Transformer层中捕获多层次嵌入。
• 应用层感知注意力机制，动态分配不同分层特征的重要性权重。
• 集成空间金字塔池化模块，对加权的特征金字塔进行多尺度下采样，捕获局部与全局模式。
• 将上述组件整合为一个端到端可训练的网络，直接处理原始URL字符串，无需人工预处理。
• 利用CharBERT的迁移学习能力，实现快速收敛，仅在5个训练周期内即达到最优性能。

实验结果

研究问题

• RQ1 能否有效利用类似CharBERT的预训练语言模型，提升恶意URL检测中的多层次特征表示？
• RQ2 层感知注意力机制在预训练模型的分层表示中，如何增强特征选择与模型性能？
• RQ3 与标准池化方法相比，空间金字塔池化在捕获URL字符串中的局部与全局特征方面，提升程度如何？
• RQ4 PMANet相较于现有最先进模型，在多样化数据集上的泛化能力如何？在对抗性攻击场景中表现如何？
• RQ5 所提出的架构能否在极少训练周期与低计算开销下实现高准确率，尤其适用于资源受限的硬件环境？

主要发现

• PMANet在公开基准数据集上相较于先前最先进方法实现了最高8.43%的准确率提升。
• 在真实世界案例研究中，PMANet成功识别出PhishTank中全部20个活跃的钓鱼URL，优于Grambeddings（75%准确率）与URLNet（95%准确率）。
• 模型在跨数据集评估与对抗性攻击场景中表现出卓越的鲁棒性，表明其具备强大的泛化能力。
• 尽管使用了预训练模型，PMANet仅在5个训练周期内即达到最优性能，显著缩短了训练时间，优于基线方法。
• 该模型在单张配备超过20GB显存的GPU上高效运行，无需大量计算资源，具备实际部署可行性。
• 层感知注意力与空间金字塔池化的集成，有效实现噪声过滤与关键特征学习，尤其提升了对欺骗性、难以区分的URL的检测能力。