[论文解读] Semi-supervised classification for dynamic Android malware detection

Li Chen, Mingwei Zhang+2 more|arXiv (Cornell University)|Apr 19, 2017

Advanced Malware Detection Techniques参考文献 22被引用 14

一句话总结

该论文提出了一种基于模型的半监督（MBSS）分类框架，用于通过API调用日志实现动态Android恶意软件检测，利用标记和未标记的APK来估计高斯混合模型，方法为条件期望最大化。MBSS在样本内分类中达到98%的准确率，并在测试数据与训练数据高度相似时保持90%的检测率，显著优于SVM、kNN和LDA，尤其在测试数据偏离训练分布时表现更优。

ABSTRACT

A growing number of threats to Android phones creates challenges for malware detection. Manually labeling the samples into benign or different malicious families requires tremendous human efforts, while it is comparably easy and cheap to obtain a large amount of unlabeled APKs from various sources. Moreover, the fast-paced evolution of Android malware continuously generates derivative malware families. These families often contain new signatures, which can escape detection when using static analysis. These practical challenges can also cause traditional supervised machine learning algorithms to degrade in performance. In this paper, we propose a framework that uses model-based semi-supervised (MBSS) classification scheme on the dynamic Android API call logs. The semi-supervised approach efficiently uses the labeled and unlabeled APKs to estimate a finite mixture model of Gaussian distributions via conditional expectation-maximization and efficiently detects malwares during out-of-sample testing. We compare MBSS with the popular malware detection classifiers such as support vector machine (SVM), $k$-nearest neighbor (kNN) and linear discriminant analysis (LDA). Under the ideal classification setting, MBSS has competitive performance with 98\% accuracy and very low false positive rate for in-sample classification. For out-of-sample testing, the out-of-sample test data exhibit similar behavior of retrieving phone information and sending to the network, compared with in-sample training set. When this similarity is strong, MBSS and SVM with linear kernel maintain 90\% detection rate while $k$NN and LDA suffer great performance degradation. When this similarity is slightly weaker, all classifiers degrade in performance, but MBSS still performs significantly better than other classifiers.

研究动机与目标

• 解决标记的Android恶意软件样本有限以及未标记APK数量不断增长的挑战。
• 克服监督分类器在分布不一致的样本外恶意软件上性能下降的问题。
• 开发一种利用标记和未标记的动态行为数据的鲁棒恶意软件检测方法。
• 通过从大规模未标记数据集中识别高概率恶意样本，提升恶意软件筛查效率。
• 确保对特征提取中对抗性操纵的鲁棒性，特别是针对基于N-gram的方法。

提出的方法

• 通过在模拟器环境中执行APK来收集动态API调用日志。
• 使用有限高斯分布混合模型对数据进行建模，以表示良性与恶意行为。
• 应用条件期望最大化（CEM）算法，利用标记和未标记数据估计模型参数。
• 使用贝叶斯信息准则（BIC）在候选混合模型中选择最优模型。
• 利用从学习到的混合模型中推导出的后验概率对新样本进行分类。
• 在不同样本外相似性条件下，将MBSS性能与SVM（线性和径向）、kNN和LDA进行比较。

实验结果

研究问题

• RQ1 当测试数据与训练数据分布不相同时，半监督学习能否提升恶意软件检测的鲁棒性？
• RQ2 在具有演化签名的样本外Android恶意软件上，MBSS相较于传统分类器（SVM、kNN、LDA）表现如何？
• RQ3 未标记的APK在动态恶意软件分析中能在多大程度上提升检测准确率并减少误报？
• RQ4 与高阶N-gram相比，使用一元语法（uni-gram）特征是否能提升对恶意软件检测中对抗性操纵的鲁棒性？
• RQ5 真实世界Android API调用日志分布是否符合高斯混合假设？

主要发现

• MBSS在样本内分类中达到98%的准确率，且误报率极低，表现出与标准分类器相当的竞争力。
• 当训练数据与样本外数据高度相似时，MBSS和线性SVM的检测率均保持在90%，而kNN和LDA则出现显著性能下降。
• 当相似性降低时，所有分类器性能均下降，但MBSS的检测率仍优于SVM、kNN和LDA。
• MBSS框架能有效利用未标记数据提升检测鲁棒性，尤其在分布偏移场景下表现突出。
• 与高阶N-gram相比，使用一元语法特征增强了对特征工程中对抗性攻击的鲁棒性。
• 该方法对高斯混合假设的偏离较为敏感，提示在高度非高斯分布的数据中需谨慎使用。