[论文解读] Real-time Network Intrusion Detection via Decision Transformers

Jingdi Chen, Hanhan Zhou+4 more|arXiv (Cornell University)|Dec 12, 2023

Network Security and Intrusion Detection被引用 4

一句话总结

本文提出了一种基于决策变换器（Decision Transformers, DT）的实时网络入侵检测框架，通过建模数据包序列实现实时、准确的威胁检测。通过条件化过去的数据包轨迹、奖励和决策，DT 以自回归方式生成未来的检测动作，在准确性和及时性方面均优于强化学习（RL）和序列建模基线方法，尤其在非理想训练数据条件下表现更优。

ABSTRACT

Many cybersecurity problems that require real-time decision-making based on temporal observations can be abstracted as a sequence modeling problem, e.g., network intrusion detection from a sequence of arriving packets. Existing approaches like reinforcement learning may not be suitable for such cybersecurity decision problems, since the Markovian property may not necessarily hold and the underlying network states are often not observable. In this paper, we cast the problem of real-time network intrusion detection as casual sequence modeling and draw upon the power of the transformer architecture for real-time decision-making. By conditioning a causal decision transformer on past trajectories, consisting of the rewards, network packets, and detection decisions, our proposed framework will generate future detection decisions to achieve the desired return. It enables decision transformers to be applied to real-time network intrusion detection, as well as a novel tradeoff between the accuracy and timeliness of detection. The proposed solution is evaluated on public network intrusion detection datasets and outperforms several baseline algorithms using reinforcement learning and sequence modeling, in terms of detection accuracy and timeliness.

研究动机与目标

• 为解决强化学习在网络入侵检测中因马尔可夫性质不成立且状态不可观测而带来的局限性。
• 通过在完整网络流完成前尽早识别恶意数据包，提升检测的及时性。
• 将网络入侵检测建模为序列建模问题，利用离线决策变换器实现可扩展的实时决策。
• 通过设计一种惩罚延迟决策的奖励函数，引入检测准确率与及时性之间的新型权衡。
• 通过使用自动编码器生成的数据包嵌入，提升模型鲁棒性，并在多种数据质量条件下评估性能。

提出的方法

• 该框架将网络入侵检测建模为序列建模问题，以过去的数据包轨迹、检测决策和奖励作为输入。
• 采用因果掩码的决策变换器（DT）自回归地生成未来检测决策，条件基于期望回报和历史观测。
• 利用预训练自动编码器将数据包级特征压缩为紧凑嵌入，高效处理可变长度数据包序列。
• 设计奖励函数以惩罚延迟检测，鼓励更快但准确的决策，从而实现速度与精度之间的权衡。
• 模型在 UNSW-NB15 数据集的历史轨迹上离线训练，评估使用过采样技术处理恶意流量的平衡数据集。
• 该方法与架构无关，可与 LSTMs 或 TCNs 等替代模型集成，尽管主要评估使用 Transformer 模型。

实验结果

研究问题

• RQ1 决策变换器是否能在不依赖马尔可夫性质的前提下，有效建模序列化网络流量以实现实时入侵检测？
• RQ2 与传统强化学习和监督基线相比，所提出的框架在检测准确率与及时性之间如何实现平衡？
• RQ3 当在次优或非专家行为策略下训练时，模型的泛化能力及性能保持程度如何？
• RQ4 使用数据包嵌入及惩罚延迟的奖励函数，对检测速度与准确率有何影响？
• RQ5 在训练数据有限或不平衡的情况下，该框架是否仍能实现高性能检测？

主要发现

• 所提出的基于 DT 的方法在所有基线中检测准确率最高，在随机采样设置下 F1 分数超过 0.91，即使在次优训练数据下也表现优异。
• 在专家采样设置下，DT 实现了 0.99 的精确率，且时间到解决（TTR）低于 CQL，表明检测更快且不损失准确性。
• 在中等采样场景下，DT 的 TTR 与 BC 相同（0.80），但奖励得分和检测准确率显著更高，证明其更强的鲁棒性。
• 该模型在所有设置中均保持最低的 TTR，同时实现高精确率与高召回率，证明其在加速威胁检测方面的有效性。
• 奖励函数成功促使模型更早检测，相比基线，其归一化奖励得分更高（更接近专家策略）。
• 该框架在非理想数据条件下表现出强泛化能力，适用于高质量行为数据稀缺的真实世界部署场景。