[论文解读] PacketCGAN: Exploratory Study of Class Imbalance for Encrypted Traffic Classification Using CGAN

Pan Wang, Shuhang Li+3 more|arXiv (Cornell University)|Nov 27, 2019

Internet Traffic Analysis and Secure E-voting参考文献 29被引用 6

一句话总结

本文提出PacketCGAN，一种基于条件生成对抗网络（CGAN）的数据增强方法，用于解决加密流量分类中的类别不平衡问题。通过生成合成的少数类流量样本，PacketCGAN提升了深度学习模型（尤其是卷积神经网络CNN）在ISCX2012和USTC-TFC2016等不平衡数据集上的性能，其在准确率和F1分数上均优于ROS、SMOTE和原始GAN基线方法。

ABSTRACT

With more and more adoption of Deep Learning (DL) in the field of image processing, computer vision and NLP, researchers have begun to apply DL to tackle with encrypted traffic classification problems. Although these methods can automatically extract traffic features to overcome the difficulty of traditional classification methods like DPI in terms of feature engineering, a large amount of data is needed to learn the characteristics of various types of traffic. Therefore, the performance of classification model always significantly depends on the quality of datasets. Nevertheless, the building of datasets is a time-consuming and costly task, especially encrypted traffic data. Apparently, it is often more difficult to collect a large amount of traffic samples of those unpopular encrypted applications than well-known, which leads to the problem of class imbalance between major and minor encrypted applications in datasets. In this paper, we proposed a novel traffic data augmenting method called PacketCGAN using Conditional GAN. As a generative model, PacketCGAN exploit the benefit of CGAN to generate specified traffic to address the problem of the datasets' imbalance. As a proof of concept, three classical DL models like Convolutional Neural Network (CNN) were adopted and designed to classify four encrypted traffic datasets augmented by Random Over Sampling (ROS), SMOTE(Synthetic Minority Over-sampling Techinique) , vanilla GAN and PacketCGAN respectively based on two public datasets: ISCX2012 and USTC-TFC2016. The experimental evaluation results demonstrate that DL based encrypted traffic classifier over dataset augmented by PacketCGAN can achieve better performance than the others.

研究动机与目标

• 解决加密流量数据集中类别不平衡的问题，其中少数应用的样本数量远少于主流应用。
• 克服传统流量分类方法（如端口和载荷匹配）在加密流量上失效的局限性。
• 开发一种数据增强技术，生成真实、与应用相关的加密流量样本，以平衡少数类别。
• 通过在真实世界加密流量数据集上应用深度学习模型，评估所提方法的有效性。

提出的方法

• 采用条件生成对抗网络（CGAN）生成基于应用标签条件的合成加密流量样本。
• 训练生成器以学习来自ISCX2012和USTC-TFC2016数据集的真实加密流量流的统计特征和时间特征。
• 利用判别器区分真实流量样本与生成样本，确保合成数据的高保真度。
• 通过结合真实与生成样本对少数类别进行增强，以在训练深度学习模型前实现数据集的平衡。
• 在增强后的数据集上应用标准深度学习模型（如CNN）进行分类，并比较不同数据增强技术的性能表现。
• 通过在CGAN架构中引入条件标签，优化生成过程以控制生成流量的类型，确保实现类别特定的数据合成。

实验结果

研究问题

• RQ1 基于CGAN的数据增强是否能有效缓解加密流量数据集中的类别不平衡问题？
• RQ2 PacketCGAN与传统数据增强方法（ROS、SMOTE、原始GAN）相比，在提升分类性能方面表现如何？
• RQ3 与无条件GAN相比，条件生成是否能产生更真实、更具判别力的合成流量样本？
• RQ4 通过PacketCGAN进行数据增强，在多大程度上提升了深度学习模型在少数加密应用类别上的F1分数和准确率？
• RQ5 PacketCGAN的性能增益是否在不同基准加密流量数据集上保持一致？

主要发现

• 与ROS、SMOTE和原始GAN增强相比，PacketCGAN生成的合成数据显著提升了少数类的F1分数。
• 在包含四个数据集（ISCX2012、USTC-TFC2016及两个衍生子集）的测试中，使用PacketCGAN增强数据训练的CNN分类器达到了最高的整体准确率。
• PacketCGAN在宏平均F1分数上优于SMOTE和ROS，表明其在少数代表流量类型上具有更好的泛化能力。
• CGAN的条件特性使生成的加密流量类型具有精确控制能力，从而产生语义上更相关的合成样本。
• 与原始GAN相比，PacketCGAN生成的合成流量质量更高，能够保留对分类至关重要的时间特征和统计特征。
• 在类别高度不平衡的数据集中，性能提升最为显著，证实了该方法在真实世界数据分布倾斜场景下的有效性。