[论文解读] NLP Methods in Host-based Intrusion Detection Systems: A Systematic Review and Future Directions

Zarrin Tasnim Sworna, Zahra Mousavi+1 more|arXiv (Cornell University)|Jan 20, 2022

Network Security and Intrusion Detection被引用 5

一句话总结

本篇系统性综述研究了自然语言处理（NLP）技术在基于主机的入侵检测系统（HIDS）中的应用，以提升对复杂、低痕迹及零日攻击的检测能力。通过将系统调用序列视为自然语言句子，本研究评估了基于NLP的方法——包括深度学习模型如BiLSTM、CNN及注意力机制——结果表明，与传统模式匹配方法相比，这些方法在降低误报率和提升异常检测准确率方面表现更优。

ABSTRACT

Host based Intrusion Detection System (HIDS) is an effective last line of defense for defending against cyber security attacks after perimeter defenses (e.g., Network based Intrusion Detection System and Firewall) have failed or been bypassed. HIDS is widely adopted in the industry as HIDS is ranked among the top two most used security tools by Security Operation Centers (SOC) of organizations. Although effective and efficient HIDS is highly desirable for industrial organizations, the evolution of increasingly complex attack patterns causes several challenges resulting in performance degradation of HIDS (e.g., high false alert rate creating alert fatigue for SOC staff). Since Natural Language Processing (NLP) methods are better suited for identifying complex attack patterns, an increasing number of HIDS are leveraging the advances in NLP that have shown effective and efficient performance in precisely detecting low footprint, zero day attacks and predicting the next steps of attackers. This active research trend of using NLP in HIDS demands a synthesized and comprehensive body of knowledge of NLP based HIDS. Thus, we conducted a systematic review of the literature on the end to end pipeline of the use of NLP in HIDS development. For the end to end NLP based HIDS development pipeline, we identify, taxonomically categorize and systematically compare the state of the art of NLP methods usage in HIDS, attacks detected by these NLP methods, datasets and evaluation metrics which are used to evaluate the NLP based HIDS. We highlight the relevant prevalent practices, considerations, advantages and limitations to support the HIDS developers. We also outline the future research directions for the NLP based HIDS development.

研究动机与目标

• 识别并分类用于检测复杂攻击模式的HIDS中前沿NLP方法。
• 分析基于NLP的HIDS方法所使用的数据集、评估指标及目标攻击类型。
• 评估NLP在HIDS开发中的优势、局限性及实际考虑因素。
• 为应用于系统调用序列的NLP技术提供全面的分类体系。
• 概述推动NLP在实际网络安全防御应用中发展的未来研究方向。

提出的方法

• 依据PRISMA指南，对HIDS中NLP的同行评审出版物开展系统性文献综述（SLR）。
• 将NLP技术映射至HIDS流程中，包括系统调用序列表示、嵌入表示及异常检测模型。
• 将NLP方法分类为词嵌入（如Word2Vec）、序列模型（如BiLSTM、GRU）及注意力机制等类别。
• 利用检测率、误报率（FAR）及F1-score等标准指标，在多个数据集上评估模型性能。
• 分析系统调用表示技术，如n-gram、序列到序列模型及基于嵌入的表示方法。
• 综合65项引用研究的发现，识别NLP驱动HIDS开发中的趋势、空白点及最佳实践。

实验结果

研究问题

• RQ1 HIDS中哪些NLP技术最常被使用，它们如何应用于系统调用序列？
• RQ2 基于NLP的HIDS研究中普遍使用哪些数据集和评估指标，它们如何影响模型性能？
• RQ3 与传统HIDS相比，基于NLP的HIDS在检测准确率和误报减少方面表现如何？
• RQ4 在应用NLP于HIDS时，面临的关键挑战和局限性是什么，特别是数据不平衡和实时处理方面？
• RQ5 未来在推动NLP于基于主机的入侵检测系统中发展的研究方向有哪些？

主要发现

• 由于能够理解系统调用序列的上下文语境，基于NLP的HIDS在检测复杂、低痕迹及零日攻击方面显著优于传统模式匹配HIDS。
• 深度学习模型如BiLSTM、CNN-BiLSTM混合模型及注意力机制在检测率（部分研究中高达98.7%）和误报率方面优于传统方法。
• 基于嵌入的表示方法（如Word2Vec、GloVe）可提升语义相似性检测能力，从而更优地建模正常与异常行为。
• 序列到序列模型与自编码器在流式系统调用数据的异常预测及基于重构的检测方面展现出强大潜力。
• 数据增强技术如生成对抗网络（GANs）和序列生成模型有助于缓解类别不平衡问题，并在低数据场景下提升模型泛化能力。
• 尽管技术已取得进展，但在实际实时部署中仍面临挑战，主要源于高计算开销，以及该领域缺乏标准化基准和数据集。