[论文解读] Transcending Transcend: Revisiting Malware Classification with Conformal Evaluation.

Federico Barbero, Feargus Pendlebury+2 more|arXiv (Cornell University)|Oct 8, 2020

Advanced Malware Detection Techniques被引用 6

一句话总结

本文重新审视了 Transcend——一种基于置信预测的恶意软件分类框架，具备拒绝功能，形式化其理论基础，并引入两种性能更优的评估器，性能匹配或超越原有框架的同时显著降低计算成本。在偏差最小化的数据集上进行评估后，该增强框架为现实世界中的恶意软件检测提供了实用且可部署的解决方案，并已开源发布。

ABSTRACT

Machine learning for malware classification shows encouraging results, but real deployments suffer from performance degradation as malware authors adapt their techniques to evade detection. This phenomenon, known as concept drift, occurs as new malware examples evolve and become less and less like the original training examples. One promising method to cope with concept drift is classification with rejection in which examples that are likely to be misclassified are instead quarantined until they can be expertly analyzed. We revisit Transcend, a recently proposed framework for performing rejection based on conformal prediction theory. In particular, we provide a formal treatment of Transcend, enabling us to refine conformal evaluation theory---its underlying statistical engine---and gain a better understanding of the theoretical reasons for its effectiveness. In the process, we develop two additional conformal evaluators that match or surpass the performance of the original while significantly decreasing the computational overhead. We evaluate our extension on a large dataset that removes sources of experimental bias present in the original evaluation. Finally, to aid practitioners, we determine the optimal operational settings for a Transcend deployment and show how it can be applied to many popular learning algorithms. These insights support both old and new empirical findings, making Transcend a sound and practical solution for the first time. To this end, we release our implementation of Transcend as open source, to aid the adoption of rejection strategies by the security community.

研究动机与目标

• 对基于置信预测的恶意软件分类系统 Transcend 的理论基础进行形式化分析与优化。
• 设计性能更优的置信预测评估器，使其在保持或超越 Transcend 原有性能的同时，显著降低计算开销。
• 在大规模、偏差最小化的数据集上评估增强后的框架，以确保其经验可靠性。
• 识别在真实世界安全系统中部署 Transcend 的最优运行配置。
• 通过开源实现，推动安全社区广泛采用。

提出的方法

• 形式化 Transcend 所依赖的置信预测评估理论，明确其统计基础，提升理论鲁棒性。
• 设计两种新型置信预测评估器，兼顾效率与准确性，显著降低计算成本而不影响性能。
• 将优化后的框架应用于多种主流机器学习算法，确保广泛的兼容性与实际部署可行性。
• 采用大规模、精心筛选的数据集，消除常见实验偏差，确保评估的公平性与可靠性。
• 校准拒绝阈值与置信水平，以在实际运行环境中平衡检测准确率与拒绝率。
• 将完整实现开源，以支持社区采纳与后续研究。

实验结果

研究问题

• RQ1 原始 Transcend 框架在理论上存在哪些局限性？如何通过置信预测理论的形式化改进来解决这些问题？
• RQ2 能否设计出新型置信评估器，使其在性能上匹配或超越 Transcend 的同时，显著降低计算开销？
• RQ3 在去除常见实验偏差的数据集上，增强后的框架表现如何？
• RQ4 在真实世界恶意软件检测系统中部署 Transcend 的最优运行参数是什么？
• RQ5 该框架在多种用于恶意软件分类的机器学习模型之间具备多大程度的可泛化能力？

主要发现

• 对 Transcend 置信预测评估理论的形式化处理，揭示了其在应对恶意软件分类中概念漂移问题时的深层鲁棒性。
• 新开发的两种置信预测评估器在性能上达到或优于原始 Transcend 框架，同时显著降低计算成本。
• 在偏差最小化的数据集上进行的评估证实了增强框架在多种恶意软件家族中的可靠性与泛化能力。
• 已识别出 Transcend 部署的最优运行配置，包括置信度阈值与拒绝率，支持其在生产系统中的实际集成。
• 该框架与多种主流机器学习算法兼容，显著提升了其灵活性与实际应用价值。
• 开源实现预计将加速安全社区对基于拒绝机制策略的采纳。