[论文解读] SoK: A Survey of Open-Source Threat Emulators

Polina Zilberman, Rami Puzis+3 more|arXiv (Cornell University)|Mar 3, 2020

Information and Cyber Security被引用 10

一句话总结

本文提出了一套全面的方法论，用于基于MITRE ATT&CK战术与技术对开源威胁模拟器进行评估与比较，同时考虑清理、配置和环境兼容性等标准。研究识别出Atomic Red Team、RTA、CALDERA和Metasploit在多样化的安全评估需求中表现最佳，为根据用例和组织需求选择最合适的模拟器提供了可操作的指导。

ABSTRACT

Threat emulators are tools or sets of scripts that emulate cyber attacks or malicious behavior. They can be used to create and launch single procedure attacks and multi-step attacks; the resulting attacks may be known or unknown cyber attacks. The motivation for using threat emulators varies and includes the need to perform automated security audits in organizations or reduce the size of red teams in order to lower pen testing costs; or the desire to create baseline tests for security tools under development or supply pen testers with another tool in their arsenal. In this paper, we review and compare various open-source threat emulators. We focus on tactics and techniques from the MITRE ATT&CK Enterprise matrix and determine whether they can be performed and tested with the emulators. We develop a comprehensive methodology for our qualitative and quantitative comparison of threat emulators with respect to general features, such as prerequisites, attack definition, cleanup, and more. Finally, we discuss the circumstances in which one threat emulator is preferred over another. This survey can help security teams, security developers, and product deployment teams examine their network environment or products with the most suitable threat emulator. Using the guidelines provided, a team can select the threat emulator that best meets their needs without evaluating all of them.

研究动机与目标

• 解决文献中缺乏对开源威胁模拟器进行严谨、系统性比较的问题。
• 基于关键标准（如先决条件、攻击定义、清理和环境兼容性）开发一种标准化的威胁模拟器评估方法论。
• 识别并排名最适合不同安全用例（包括红队演练、安全工具评估和假设分析）的威胁模拟器。
• 为安全团队和开发人员提供可操作的指导，使其能够在不评估所有可用工具的情况下选择最优的威胁模拟器。
• 突出当前威胁模拟器中的关键缺陷，例如清理机制不足以及API或GUI支持有限。

提出的方法

• 作者基于四个标准构建了一个多维评估框架：通用特性（先决条件、攻击定义、清理）、场景执行（可配置性、停止/运行时支持）、环境兼容性（操作系统、权限）和流程配置。
• 对11个开源威胁模拟器（Atomic Red Team、RTA、CALDERA、Metasploit、Infection Monkey等）基于MITRE ATT&CK企业矩阵进行评估，以衡量其战术与技术的覆盖范围。
• 构建了一个分类法，根据模拟器的功能能力（如多步骤攻击支持、自定义能力和集成特性）对它们进行分类。
• 评估结合了定性与定量分析，为每个模拟器在所有标准上分配评分，从而实现直接比较。
• 该方法论融入了红队演练、安全工具测试和假设分析等实际用例，使评估基于实际场景。
• 评估了API可用性、GUI支持和CLI功能，作为在不同操作环境中实现自动化和易用性的关键推动因素。

实验结果

研究问题

• RQ1 哪些开源威胁模拟器在MITRE ATT&CK战术与技术方面提供了最广泛的覆盖？
• RQ2 不同威胁模拟器在生产环境中的清理、配置和环境兼容性方面表现如何？
• RQ3 对于新手与高级操作员而言，模拟器在易用性和可扩展性方面有何关键差异？
• RQ4 哪些模拟器最能支持攻击场景的自动化、可重复执行，以用于安全工具评估和假设分析？
• RQ5 哪些功能对于将威胁模拟器集成到组织的安全运营和持续评估工作流中最为关键？

主要发现

• Atomic Red Team、RTA、CALDERA和Metasploit表现最佳，其在攻击场景覆盖、清理和可配置性方面均表现出色。
• Atomic Red Team和RTA在环境兼容性和清理方面得分最高，使其成为生产环境和假设分析场景的理想选择。
• Metasploit和CALDERA在操作员易用性与高级自定义能力之间实现了最佳平衡，尤其适用于复杂、多步骤的攻击。
• Infection Monkey在所有模拟器中最具用户友好性，提供图形界面和即开即用的攻击场景，适合经验较少的用户。
• 仅有少数模拟器——Atomic Red Team、CALDERA和Metasploit——提供了完整的攻击后清理，其他模拟器则需要手动干预，增加了操作风险。
• Atomic Red Team、CALDERA和Metasploit的API可用性支持与安全运营中心及自动化评估流水线的无缝集成。