[论文解读] TEST: an End-to-End Network Traffic Examination and Identification Framework Based on Spatio-Temporal Features Extraction

Yi Zeng, Zihao Qi+4 more|arXiv (Cornell University)|Aug 26, 2019

Internet Traffic Analysis and Secure E-voting参考文献 19被引用 9

一句话总结

本文提出 TEST，一种基于深度学习的端到端框架，通过卷积神经网络（CNN）联合提取原始网络流量的时空特征（空间特征通过 CNN，时间特征通过 LSTM），实现高精度的加密流量分类与入侵检测。通过采用三层分层结构并结合平衡数据集，TEST 在 8 类流量数据集上实现了 99.98% 的最先进准确率，优于仅使用空间或时间特征的模型。

ABSTRACT

With more encrypted network traffic gets involved in the Internet, how to effectively identify network traffic has become a top priority in the field. Accurate identification of the network traffic is the footstone of basic network services, say QoE, bandwidth allocation, and IDS. Previous identification methods either cannot deal with encrypted traffics or require experts to select tons of features to attain a relatively decent accuracy.In this paper, we present a Deep Learning based end-to-end network traffic identification framework, termed TEST, to avoid the aforementioned problems. CNN and LSTM are combined and implemented to help the machine automatically extract features from both special and time-related features of the raw traffic. The presented framework has two layers of structure, which made it possible to attain a remarkable accuracy on both encrypted traffic classification and intrusion detection tasks. The experimental results demonstrate that our model can outperform previous methods with a state-of-the-art accuracy of 99.98%.

研究动机与目标

• 为应对日益增长的加密技术和隐私保护协议所带来的加密及恶意网络流量精准分类挑战。
• 克服传统方法依赖人工特征工程或在加密流量上表现不佳的局限性。
• 开发一种端到端的深度学习框架，能够直接从原始流量中自动学习，无需专家选择的特征，且不暴露隐私信息。
• 通过在分层、平衡的训练框架中联合建模 CNN 和 LSTM 的空间与时间流量模式，提升分类的鲁棒性与准确率。

提出的方法

• 该框架采用三层分层结构：预处理层（P-layer）、通用分类层（G-layer）和专用行为层（S-layer），以支持模块化、平衡的训练。
• 通过卷积神经网络（CNN）从原始流量流数据中提取空间特征，捕捉分组序列中的结构模式。
• 通过长短期记忆网络（LSTM）捕捉时间特征，建模流间隔间的时间序列依赖关系。
• 每个分类层均在精心设计的平衡数据集上进行训练，以确保各类流量的高性能与稳定性。
• CNN 与 LSTM 的融合使模型能够同时从网络流量的空间与时间维度进行联合学习，增强特征表示能力。
• 端到端设计消除了对手动特征选择的需求，并通过直接处理原始流量输入保护了隐私。

实验结果

研究问题

• RQ1 能否通过联合建模原始网络流量的空间与时间特征的深度学习框架，在分类准确率上优于仅使用单一模态的模型？
• RQ2 在分层框架中使用平衡数据集，如何影响对多样化流量类型分类的鲁棒性与准确率？
• RQ3 端到端的深度学习模型在不依赖人工特征工程或协议层解析的情况下，能在多大程度上识别加密及恶意流量？
• RQ4 在多层架构中集成 CNN 与 LSTM 是否能显著提升真实网络流量分类任务的性能？

主要发现

• TEST 在分类八种不同类型的网络流量任务中实现了 99.98% 的最先进准确率，显著优于基线模型。
• 框架中 CNN 与 LSTM 的结合使准确率相比 LeNet（80.27%）提升了 19.71%，相比三层 LSTM（81.96%）提升了 17.92%。
• TEST 展现出卓越的鲁棒性，多数流量类别的 F1 得分为 1.0，尤其在聊天（Chat）、邮件（Email）和文件传输（File Transfer）流量分类中表现突出。
• TEST 的平均 F1 得分（0.999）远高于 LeNet（0.851）和 LSTM（0.864），证实其具备更强的稳定性与性能。
• 结果表明，同时利用空间与时间特征可显著提升分类性能，优于单独使用任一模态。
• 该框架在未加密流量与恶意软件流量上也表现出色，但性能提升在加密流量上更为显著，凸显了联合特征学习的价值。