[论文解读] RansomAI: AI-powered Ransomware for Stealthy Encryption

Jan von der Assen, Alberto Huertas Celdrán+5 more|arXiv (Cornell University)|Jun 27, 2023

Advanced Malware Detection Techniques被引用 6

一句话总结

RansomAI 是一种基于强化学习的框架，可使勒索软件动态调整其加密行为——选择最优的加密算法、速率和持续时间，以规避由人工智能驱动的异常检测系统。在树莓派4上使用深度Q学习和孤立森林进行评估，RansomAI 在两分钟内实现了超过90%的检测规避准确率，证明了人工智能驱动的隐蔽性在勒索软件攻击中的可行性。

ABSTRACT

Cybersecurity solutions have shown promising performance when detecting ransomware samples that use fixed algorithms and encryption rates. However, due to the current explosion of Artificial Intelligence (AI), sooner than later, ransomware (and malware in general) will incorporate AI techniques to intelligently and dynamically adapt its encryption behavior to be undetected. It might result in ineffective and obsolete cybersecurity solutions, but the literature lacks AI-powered ransomware to verify it. Thus, this work proposes RansomAI, a Reinforcement Learning-based framework that can be integrated into existing ransomware samples to adapt their encryption behavior and stay stealthy while encrypting files. RansomAI presents an agent that learns the best encryption algorithm, rate, and duration that minimizes its detection (using a reward mechanism and a fingerprinting intelligent detection system) while maximizing its damage function. The proposed framework was validated in a ransomware, Ransomware-PoC, that infected a Raspberry Pi 4, acting as a crowdsensor. A pool of experiments with Deep Q-Learning and Isolation Forest (deployed on the agent and detection system, respectively) has demonstrated that RansomAI evades the detection of Ransomware-PoC affecting the Raspberry Pi 4 in a few minutes with >90% accuracy.

研究动机与目标

• 为应对人工智能驱动的勒索软件日益增长的威胁，此类勒索软件可实时动态调整加密行为以规避传统动态检测系统。
• 探究强化学习是否可用于优化勒索软件行为，以在最小化检测风险的同时实现最大破坏力。
• 在真实、资源受限的环境中，验证基于强化学习的智能体在规避基于指纹识别和机器学习的异常检测系统方面的有效性。
• 证明，若勒索软件发展为采用自适应、智能化的加密策略，当前的网络安全防御措施可能迅速过时。

提出的方法

• 该框架采用强化学习智能体，通过奖励机制学习最优的勒索软件配置（加密算法、速率、持续时间）。
• 奖励函数在加密速度与隐蔽性之间取得平衡，其中隐蔽性通过基于孤立森林的异常检测系统输出进行衡量。
• 智能体使用深度Q学习（DQN）探索和利用不同的配置，根据观察到的奖励更新其Q值。
• 指纹识别机制捕获设备特有的行为模式，用于训练异常检测系统，以评估每种勒索软件配置的隐蔽性。
• 该系统被集成到一个真实世界的PoC勒索软件（Ransomware-PoC）中，并在树莓派4上运行，以模拟众包传感器环境。
• 对激活函数、网络深度和权重初始化等超参数进行了调优，以优化学习速度和准确率。

实验结果

研究问题

• RQ1 强化学习智能体能否在实时环境中学习动态调整勒索软件加密行为，以最小化检测风险并最大化加密速度？
• RQ2 在真实、资源受限的设备环境中，基于强化学习的智能体在规避基于指纹识别和机器学习的异常检测系统方面效果如何？
• RQ3 哪些超参数配置（如网络深度、激活函数、学习率）能在RansomAI框架中实现最快且最准确的规避行为？
• RQ4 检测模型的选择（如孤立森林）在多大程度上影响智能体学习隐蔽配置的能力？
• RQ5 该框架能否推广至其他非勒索软件类型的恶意软件，如数据外泄后门？

主要发现

• 当部署在树莓派4上时，RansomAI 在两分钟内实现了超过90%的检测规避准确率。
• 智能体在训练6.5分钟后达到96.32%的最优配置选择准确率。
• Log-SiLU激活函数组合在学习速度与准确率之间实现了最佳平衡，训练时间为139.4分钟，准确率达99.24%。
• Xavier权重初始化在所有测试初始化方法中实现了最快收敛（105.4分钟）和最高准确率（99.31%）。
• 在5,000个训练回合后，智能体达到99.71%的准确率，表明其具备强大的长期学习稳定性和鲁棒性。
• 该框架证明，人工智能驱动的勒索软件可通过学习自适应加密策略，有效规避现代基于行为的检测系统。