[论文解读] Reliable Malware Analysis and Detection using Topology Data Analysis

Lionel Nganyewou Tidjon, Foutse Khomh|arXiv (Cornell University)|Nov 3, 2022

Topological and Geometric Data Analysis被引用 4

一句话总结

本文提出一种基于拓扑数据分析（TDA）的框架，结合TDA Mapper与持久同调，以提升恶意软件检测与聚类性能，优于传统的主成分分析（PCA）、UMAP和t-SNE方法。结果表明，TDA Mapper与PCA结合在揭示隐藏的恶意软件簇关系方面表现优异；而持久同调图则能实现更快、更准确地检测重叠的恶意软件家族，执行时间更短，且在噪声数据下更具鲁棒性，尤其在与随机森林和决策树分类器结合时表现更优。

ABSTRACT

Increasingly, malwares are becoming complex and they are spreading on networks targeting different infrastructures and personal-end devices to collect, modify, and destroy victim information. Malware behaviors are polymorphic, metamorphic, persistent, able to hide to bypass detectors and adapt to new environments, and even leverage machine learning techniques to better damage targets. Thus, it makes them difficult to analyze and detect with traditional endpoint detection and response, intrusion detection and prevention systems. To defend against malwares, recent work has proposed different techniques based on signatures and machine learning. In this paper, we propose to use an algebraic topological approach called topological-based data analysis (TDA) to efficiently analyze and detect complex malware patterns. Next, we compare the different TDA techniques (i.e., persistence homology, tomato, TDA Mapper) and existing techniques (i.e., PCA, UMAP, t-SNE) using different classifiers including random forest, decision tree, xgboost, and lightgbm. We also propose some recommendations to deploy the best-identified models for malware detection at scale. Results show that TDA Mapper (combined with PCA) is better for clustering and for identifying hidden relationships between malware clusters compared to PCA. Persistent diagrams are better to identify overlapping malware clusters with low execution time compared to UMAP and t-SNE. For malware detection, malware analysts can use Random Forest and Decision Tree with t-SNE and Persistent Diagram to achieve better performance and robustness on noised data.

研究动机与目标

• 为解决传统恶意软件检测方法的局限性，如高误报率以及对多态性和变态恶意软件的鲁棒性差等问题。
• 评估拓扑数据分析（TDA）技术——特别是TDA Mapper、持久同调和tomato——在恶意软件聚类与检测中的有效性。
• 将TDA技术与传统的降维方法（PCA、UMAP、t-SNE）进行对比，使用多种机器学习分类器进行评估。
• 为TDA驱动的恶意软件检测在企业级及多区域环境中的可扩展部署提供推荐方案。

提出的方法

• 本研究采用拓扑数据分析（TDA）技术：持久同调、TDA Mapper和tomato，用于恶意软件数据的特征提取与模式发现。
• 利用TDA Mapper通过降维数据构建拓扑图，可视化并识别恶意软件簇之间的隐藏关系。
• 从过滤后的数据生成持久同调图，以检测持久的拓扑特征，从而实现对重叠恶意软件家族的鲁棒识别。
• 该框架将TDA与多种机器学习分类器（包括随机森林、决策树、XGBoost和LightGBM）集成，用于恶意软件检测。
• 实验基于两个真实世界数据集进行：CIC-MalMem-2022（PC恶意软件）和CCCS-CIC-AndMal-2020（移动恶意软件），涵盖平衡与非平衡的数据分布。
• 可扩展性建议基于系统级部署模式得出，包括TDAMapper-PCA服务的自动扩展，以及使用CDN和负载均衡器进行分布式告警处理。

实验结果

研究问题

• RQ1 TDA驱动的特征工程与传统方法（PCA、UMAP、t-SNE）相比，在恶意软件样本聚类及揭示恶意软件家族之间隐藏关系方面表现如何？
• RQ2 在识别重叠恶意软件簇且执行时间较短方面，哪种TDA技术——持久同调、TDA Mapper或tomato——表现最佳？
• RQ3 当与TDA特征结合时，哪些机器学习分类器（随机森林、决策树、XGBoost、LightGBM）在检测准确率和鲁棒性方面表现最优，尤其是在噪声数据条件下？
• RQ4 如何在大规模、分布式、多区域的企业环境中有效扩展基于TDA的恶意软件检测？

主要发现

• TDA Mapper与PCA结合在识别恶意软件簇之间隐藏关系方面优于仅使用PCA，有助于更深入理解恶意软件家族之间的关联。
• 持久同调图在执行时间更短、检测重叠恶意软件簇性能更优方面优于UMAP和t-SNE，尤其在数据扰动条件下表现更佳。
• 当与t-SNE及持久同调图结合时，随机森林和决策树分类器在检测性能和鲁棒性方面表现更优，尤其在噪声真实数据中。
• XGBoost和LightGBM分类器仅在使用t-SNE时才能达到最优性能与鲁棒性，而与其他降维技术结合时表现不佳。
• 本研究提供了可扩展的部署建议，包括TDAMapper-PCA服务的自动扩展，以及CDN与负载均衡器的使用，以支持多区域环境中大规模恶意软件检测。
• 所有实验结果均可复现，完整代码与数据已公开发布于公共复现包中。