[论文解读] One Train for Two Tasks: An Encrypted Traffic Classification Framework Using Supervised Contrastive Learning

Haozhen Zhang, Xi Xiao+4 more|arXiv (Cornell University)|Feb 12, 2024

Internet Traffic Analysis and Secure E-voting被引用 5

一句话总结

CLE-TFE 是一个统一模型，使用有监督对比学习和跨等级多任务训练，同时进行分组级和流级加密流量分类，性能优于先前的预训练模型，且开销更低。

ABSTRACT

As network security receives widespread attention, encrypted traffic classification has become the current research focus. However, existing methods conduct traffic classification without sufficiently considering the common characteristics between data samples, leading to suboptimal performance. Moreover, they train the packet-level and flow-level classification tasks independently, which is redundant because the packet representations learned in the packet-level task can be exploited by the flow-level task. Therefore, in this paper, we propose an effective model named a Contrastive Learning Enhanced Temporal Fusion Encoder (CLE-TFE). In particular, we utilize supervised contrastive learning to enhance the packet-level and flow-level representations and perform graph data augmentation on the byte-level traffic graph so that the fine-grained semantic-invariant characteristics between bytes can be captured through contrastive learning. We also propose cross-level multi-task learning, which simultaneously accomplishes the packet-level and flow-level classification tasks in the same model with one training. Further experiments show that CLE-TFE achieves the best overall performance on the two tasks, while its computational overhead (i.e., floating point operations, FLOPs) is only about 1/14 of the pre-trained model (e.g., ET-BERT). We release the code at https://github.com/ViktorAxelsen/CLE-TFE

研究动机与目标

• 识别跨越加密流量样本的常见、带标签信息的特征，以提高表示鲁棒性。
• 开发一个单一模型，能够同时学习分组级和流级分类，以减少冗余训练。
• 利用字节级流量图的基于图的增强，以捕捉细粒度的语义不变信息。
• 证明跨等级的有监督对比学习能够提升分组级和流级任务的表现。
• 在 ISCX VPN/nonVPN 与 Tor/nonTor 数据集上，与同期的流级和分组级基线进行效率与性能比较。

提出的方法

• 在 Temporal Fusion Encoder (TFE-GNN) 上构建 CLE-TFE，通过增加对比学习模块和跨等级多任务学习模块。
• 对字节级流量图应用图数据增强（节点与边的删除），用于分组级对比学习。
• 通过在一个流内随机删除数据包的方式进行流级增强，用于流级对比学习。
• 使用有监督对比损失将同标签的样本在分组级与流级表示上耦合。
• 在同一模型内同时训练分组级与流级分类头（一次训练），以挖掘跨等级关系。
• 用组合损失优化：L = L_PCLS + L_FCLS + α L_PCL + β L_FCL，其中 α、β 调整对比项的贡献。

实验结果

研究问题

• RQ1 RQ1: CLE-TFE 在分组级和流级加密流量分类任务中的表现如何？
• RQ2 RQ2: 每个 CLE-TFE 模块对总体性能的贡献有多大（消融分析）？
• RQ3 RQ3: 学到的分组级与流级表示在嵌入空间中的判别性有多强？
• RQ4 RQ4: 与基线相比，CLE-TFE 的计算成本是多少？
• RQ5 RQ5: CLE-TFE 对超参数有多敏感？

主要发现

模型	VPN_准确率	VPN_精确率	VPN_召回率	VPN_F1	非VPN_准确率	非VPN_精确率	非VPN_召回率	非VPN_F1	Tor_准确率	Tor_精确率	Tor_召回率	Tor_F1	非Tor_准确率	非Tor_精确率	非Tor_召回率	非Tor_F1
CLE-TFE	0.9813	0.9771	0.9762	0.9761	0.9286	0.9396	0.9391	0.9389	1.0000	1.0000	1.0000	1.0000	0.9554	0.9009	0.9019	0.8994
TFE-GNN	0.9390	0.8742	0.8335	0.8507	0.?,	0.?,	0.?,	0.?,	0.?,	0.?,	0.?,	0.?,	0.?,	0.?
ET-BERT	0.9029	0.8560	0.8217	0.8332	0.9029	0.8560	0.8217	0.8332	0.9029	0.8560	0.8217	0.8332	0.9029	0.8560	0.8217	0.8332

• CLE-TFE 在 ISCX VPN-nonVPN 与 Tor-nonTor 数据集的分组级和流级任务上都取得最佳综合结果。
• 与 TFE-GNN 相比，CLE-TFE 提升了性能（在 ISCX-VPN 上提升 2.4%，在 ISCX-nonTor 上提升 5.7%），同时将 FLOPs 降低近一半。
• 分组级和流级的有监督对比学习，以及跨等级训练显著提升了对比消融变体之外的两类任务表现。
• 在流级分类上，CLE-TFE 明显优于传统方法，并且与 ET-BERT 等深度学习基线相当甚至优越，同时具有较低的计算开销。
• 消融研究显示，移除分组级或流级对比损失或各自的分类损失都会降低性能，证实对比和监督信号的共同作用。
• CLE-TFE 对增强鲁棒，分组级头/有效载荷图的增强有助于提高 F1 分数，流级数据包丢弃进一步稳定表示。