[论文解读] SecureBERT: A Domain-Specific Language Model for Cybersecurity

Ehsan Aghaei, Xi Niu+2 more|arXiv (Cornell University)|Apr 6, 2022

Cybercrime and Law Enforcement Studies被引用 9

一句话总结

该论文提出SecureBERT，一种基于11亿词网络安全文本微调的领域专用语言模型，采用定制分词器和修改后的预训练权重。其在掩码语言建模、命名实体识别和情感分析任务上优于现有模型，展现出在理解网络安全特定语言和语义方面的卓越性能。

ABSTRACT

Natural Language Processing (NLP) has recently gained wide attention in cybersecurity, particularly in Cyber Threat Intelligence (CTI) and cyber automation. Increased connection and automation have revolutionized the world's economic and cultural infrastructures, while they have introduced risks in terms of cyber attacks. CTI is information that helps cybersecurity analysts make intelligent security decisions, that is often delivered in the form of natural language text, which must be transformed to machine readable format through an automated procedure before it can be used for automated security measures. This paper proposes SecureBERT, a cybersecurity language model capable of capturing text connotations in cybersecurity text (e.g., CTI) and therefore successful in automation for many critical cybersecurity tasks that would otherwise rely on human expertise and time-consuming manual efforts. SecureBERT has been trained using a large corpus of cybersecurity text.To make SecureBERT effective not just in retaining general English understanding, but also when applied to text with cybersecurity implications, we developed a customized tokenizer as well as a method to alter pre-trained weights. The SecureBERT is evaluated using the standard Masked Language Model (MLM) test as well as two additional standard NLP tasks. Our evaluation studies show that SecureBERT\footnote{\url{https://github.com/ehsanaghaei/SecureBERT}} outperforms existing similar models, confirming its capability for solving crucial NLP tasks in cybersecurity.

研究动机与目标

• 解决通用语言模型在理解网络安全特定术语和语义方面的局限性。
• 开发一种稳健的领域自适应语言模型，能够有效处理网络安全威胁情报（CTI）文本。
• 提升漏洞检测、网络钓鱼识别和入侵分析等网络安全任务的自动化水平。
• 克服标准NLP模型在处理领域特定同音异义词（例如，'patch'、'handshake'）和罕见网络安全术语时面临的挑战。
• 构建一个可复用、高性能的NLP基础模型，专为网络安全应用而定制。

提出的方法

• 基于RoBERTa架构进行微调，使用来自多样化网络安全来源（包括报告、研究论文和新闻）的11亿词大规模语料库。
• 设计了定制分词器，在保留标准英语标记的同时，有效处理网络安全特定子词和OOV（词汇表外）术语。
• 通过在微调过程中引入随机噪声，对预训练权重进行修改，以提升泛化能力和领域适应性。
• 采用标准NLP基准评估性能：掩码语言建模（MLM）、命名实体识别（NER）和情感分析。
• 使用全连接层与Softmax激活函数训练NER头，采用交叉熵损失和Adam优化器，在3个周期内以批量大小8进行训练。
• 通过使用RoBERTa-base权重进行模型初始化，并在网络安全特定任务上进行微调，应用迁移学习。

实验结果

研究问题

• RQ1 在网络安全文本上进行训练的领域专用语言模型，是否能在理解与网络威胁相关语言方面优于通用模型？
• RQ2 定制分词器在保留通用英语和网络安全特定词汇方面的有效性如何？
• RQ3 对预训练权重进行修改在多大程度上提升了其在网络安全NLP任务中的表现？
• RQ4 SecureBERT在处理网络安全特定文本和通用英语文本输入时，泛化能力如何？
• RQ5 SecureBERT能否在网络安全领域的命名实体识别和情感分析任务中达到最先进性能？

主要发现

• SecureBERT在MalwareTextDB NER基准测试中取得86.65的F1分数，优于RoBERTa-base（86.20）和SciBERT（84.49）。
• 经过修改的SecureBERT版本实现88.10的召回率和86.65的F1分数，表明其在罕见或复杂实体上表现强劲。
• SecureBERT在标准掩码语言建模（MLM）任务中表现优于现有模型，证实其对网络安全文本中上下文语义理解能力的增强。
• 该模型在处理同音异义词和领域特定术语（如'ransomware'、'keylogger'和'exfiltrate'）方面表现出稳健性。
• 定制分词器成功保留了98%的标准英语标记，同时有效编码了网络安全特定子词和罕见术语。
• 在微调过程中引入随机噪声，提升了模型泛化能力，并对下游任务性能的提升有所贡献。