[论文解读] Throttling Malware Families in 2D

Mohamed Nassar, Haı̈dar Safa|arXiv (Cornell University)|Jan 29, 2019

Advanced Malware Detection Techniques参考文献 9被引用 4

一句话总结

本文提出了一种基于 t-SNE 的流程，用于在二维空间中可视化和分类恶意软件家族，证明 t-SNE 嵌入表示可显著提升 SVM 分类器的性能。通过将高维 n-gram 特征降维至二维，该方法提升了交叉验证准确率，并在仅需极少特征工程的 9 类恶意软件数据集上实现了 0.1719 的测试对数损失。

ABSTRACT

Malicious software are categorized into families based on their static and dynamic characteristics, infection methods, and nature of threat. Visual exploration of malware instances and families in a low dimensional space helps in giving a first overview about dependencies and relationships among these instances, detecting their groups and isolating outliers. Furthermore, visual exploration of different sets of features is useful in assessing the quality of these sets to carry a valid abstract representation, which can be later used in classification and clustering algorithms to achieve a high accuracy. In this paper, we investigate one of the best dimensionality reduction techniques known as t-SNE to reduce the malware representation from a high dimensional space consisting of thousands of features to a low dimensional space. We experiment with different feature sets and depict malware clusters in 2-D. Surprisingly, t-SNE does not only provide nice 2-D drawings, but also dramatically increases the generalization power of SVM classifiers. Moreover, obtained results showed that cross-validation accuracy is much better using the 2-D embedded representation of samples than using the original high-dimensional representation.

研究动机与目标

• 探索 t-SNE 在低维空间中可视化恶意软件家族的实用性。
• 评估 t-SNE 嵌入表示是否相比高维输入能提升 SVM 分类器的泛化能力。
• 评估简单 n-gram 特征与 t-SNE 结合在恶意软件分类中的有效性。
• 开发一种轻量级、用于恶意软件家族分析的初步洞察分类流程，结合 t-SNE 与 SVM。
• 在包含 9 个类别且数据不平衡的大规模真实恶意软件数据集上验证该方法。

提出的方法

• 从恶意软件二进制文件中提取 n-gram 特征（3-、4-、5 字节），选取最频繁的前 1,000 个特征。
• 应用 t-SNE 将 1,000 维特征空间降维至二维嵌入，使用困惑度=5 和学习率 200。
• 在 t-SNE 嵌入的训练数据上训练带有 RBF 核的 SVM，并在训练集和交叉验证集上进行评估。
• 测试时，对完整数据集（训练集+测试集）应用 t-SNE 以嵌入测试样本，随后使用训练好的 SVM 预测类别概率。
• 通过 Kaggle 提交评估测试集的对数损失，预测期间无法访问真实标签。
• 采用非参数化 t-SNE 映射，避免对测试数据重新训练模型，并依赖对完整数据的联合 t-SNE 拟合。

实验结果

研究问题

• RQ1 t-SNE 可视化是否能有效揭示恶意软件家族在二维空间中的结构关系与聚类？
• RQ2 t-SNE 嵌入是否能提升 SVM 分类器在恶意软件分类任务中的泛化性能？
• RQ3 与原始高维特征相比，t-SNE 嵌入特征在交叉验证准确率方面的表现如何？
• RQ4 在无需大量特征工程的情况下，简单 n-gram 特征集与 t-SNE 结合能在多大程度上实现有竞争力的结果？
• RQ5 t-SNE–SVM 流程能否在更大规模、真实世界中具有类别不平衡的恶意软件数据集上实现泛化？

主要发现

• t-SNE 嵌入显著提升了 3 类和 5 类子集的两倍交叉验证准确率，二维表示优于 1,000D 输入。
• 在完整的 9 类数据集上，2D 嵌入表示在使用 3 字节 n-gram 时，交叉验证准确率达到 94.26%，而原始 1,000D 空间仅为 56.76%。
• 在完整数据集上的最终测试对数损失为 0.1719，相比随机分类器的基线值 2.1972 显著改善。
• 尽管在 1,000D 空间上的训练准确率极高（最高达 99.66%），但交叉验证准确率较差，表明存在过拟合，而 t-SNE 有效缓解了该问题。
• 2D 嵌入空间表现出更优的聚类能力，从而增强了 RBF-SVM 在各类别间的泛化能力。
• 在 2D 空间中，5-gram 特征表现最佳，在 9 类数据集上实现了 92.58% 的交叉验证准确率，优于 3- 和 4-gram。