[论文解读] Unsupervised Anomaly Detection in NSL-KDD Using $β$-VAE: A Latent Space and Reconstruction Error Approach

Dylan Baptiste, Ramla Saddem+2 more|arXiv (Cornell University)|Feb 23, 2026

Network Security and Intrusion Detection被引用 0

一句话总结

这篇论文比较了重建误差方法与潜在空间距离方法在 NSL-KDD 上的无监督异常检测，使用 β-VAE，指出潜在空间距离在何时可以匹配或超过基于重建的检测性能。

ABSTRACT

As Operational Technology increasingly integrates with Information Technology, the need for Intrusion Detection Systems becomes more important. This paper explores an unsupervised approach to anomaly detection in network traffic using $β$-Variational Autoencoders on the NSL-KDD dataset. We investigate two methods: leveraging the latent space structure by measuring distances from test samples to the training data projections, and using the reconstruction error as a conventional anomaly detection metric. By comparing these approaches, we provide insights into their respective advantages and limitations in an unsupervised setting. Experimental results highlight the effectiveness of latent space exploitation for classification tasks.

研究动机与目标

• 在 OT/IT 集成环境中激发入侵检测的兴趣并评估在 NSL-KDD 上的无监督异常检测。
• 在 β-VAE 框架内研究两种检测信号——重建误差与潜在空间距离（Z_k）。
• 评估两种信号在不同 β 和 k 值下的性能与取舍，并分析可解释性与增量学习潜力。

提出的方法

• 在对分类特征进行独热编码、布尔值进行二进制编码、对连续特征进行标准化后，使用 β-VAE 学习 NSL-KDD 数据的潜在表示。
• 通过编码器 qφ(z|x) 和解码器 pθ(x|z) 进行训练；目标函数为 β-ELBO：E_q[log pθ(x|z)] − β D_KL(qφ(z|x)||p(z))。
• 将重建损失 L_rec 定义为对类别交叉熵、二元交叉熵和均方误差在特征类型上的加权和。
• 评估两种异常检测信号：(i) L_rec-分类，使用重建误差及阈值；(ii) Z_k-分类，使用训练正常样本最近的 k 个潜在空间邻居的平均欧氏距离。
• 报告 AUROC 并分析 β 与 k 的影响，重点关注潜在空间在分类中的利用。

实验结果

研究问题

• RQ1 β-VAE 潜在空间是否可用于在 NSL-KDD 进行基于潜在空间距离的无监督异常检测？
• RQ2 在不同 β 和 k 值下，潜在空间距离的性能与基于重建误差的检测相比有何差异？
• RQ3 重建信号与潜在空间信号是否提供互补的检测能力，可实现自适应或混合威胁评分？
• RQ4 使用潜在嵌入进行增量学习与基于行为的入侵分析的实际意义为何？

主要发现

β	AUROC (%)	Z_1	Z_100	Z_150	Z_200	Z_250	Z_300	Z_400	Z_500	Z_1000	Z_2000	Z_3000	Z_4000	Z_5000	L_rec
0	94.11	96.43	96.63	96.76	96.89	96.99	97.09	97.14	97.40	97.48	97.56	97.66	97.70	96.78
0.00001	94.49	96.79	97.03	97.16	97.25	97.32	97.46	97.52	97.68	97.75	97.81	97.87	97.90	96.23
0.0001	94.28	96.60	96.76	96.96	97.12	97.19	97.26	97.29	97.52	97.65	97.70	97.73	97.73	96.52
0.001	93.51	95.81	96.20	96.47	96.66	96.71	96.66	96.58	96.69	96.80	96.82	96.85	96.86	96.61
0.01	93.47	96.16	96.37	96.48	96.57	96.64	96.71	96.76	96.96	96.85	96.86	96.85	96.82	96.44
0.1	91.05	93.52	93.85	94.11	94.31	94.46	94.64	94.76	95.14	95.32	95.35	95.35	95.32	96.48
0.5	75.08	84.26	85.28	86.01	86.59	87.06	87.81	88.37	89.88	90.93	91.35	91.56	91.67	96.28
-	-	-	-	-	-	-	-	-	-	-	-	-	-	-

• 潜在空间距离 Z_k 在某些 β 和 k 设置下可以匹配或超过基于重建的 AUROC。
• L_rec 的最佳平均 AUROC 出现在 β=0 时，大约 0.962–0.968，且随着 k 增大而提升；对 Z_k 而言，AUROC 越高越好。
• Z_k 的最佳平均 AUROC 在 β=1e-5、k=5000 时实现，在某些配置下优于 L_rec。
• 在测试的 β 值下，普遍随着 k 增大，Z_k-分类的 AUROC 提升。
• 对于 β=0，在所有 k 中报告的最高 AUROC 为 97.70%（L_rec），在某些设置下 Z_k 最高可达 97.90%；表 II 中的行详细信息。
• 这两种方法是互补的，可以通过自适应阈值或融合评分进行结合，从而实现增量学习与基于行为的入侵分析。