[论文解读] The Agent Web Model -- Modelling web hacking for reinforcement learning

László Erdődi, Fabio Massimo Zennaro|arXiv (Cornell University)|Sep 23, 2020

Advanced Malware Detection Techniques参考文献 23被引用 4

一句话总结

本文提出了 Agent Web Model，这是一个形式化框架，将网页渗透测试建模为一个跨越七个抽象层级的强化学习（RL）问题，涵盖从简单到复杂的网页渗透测试挑战。该框架为前三个层级提供了符合 OpenAI Gym 标准的实现，支持在安全、受控环境中对强化学习智能体进行标准化训练，以实现通过利用漏洞获取标记（flag）的伦理红队测试。

ABSTRACT

Website hacking is a frequent attack type used by malicious actors to obtain confidential information, modify the integrity of web pages or make websites unavailable. The tools used by attackers are becoming more and more automated and sophisticated, and malicious machine learning agents seems to be the next development in this line. In order to provide ethical hackers with similar tools, and to understand the impact and the limitations of artificial agents, we present in this paper a model that formalizes web hacking tasks for reinforcement learning agents. Our model, named Agent Web Model, considers web hacking as a capture-the-flag style challenge, and it defines reinforcement learning problems at seven different levels of abstraction. We discuss the complexity of these problems in terms of actions and states an agent has to deal with, and we show that such a model allows to represent most of the relevant web vulnerabilities. Aware that the driver of advances in reinforcement learning is the availability of standardized challenges, we provide an implementation for the first three abstraction layers, in the hope that the community would consider these challenges in order to develop intelligent web hacking agents.

研究动机与目标

• 将网页渗透测试系统地形式化为强化学习问题，以支持训练智能代理进行伦理渗透测试。
• 解决当前在网页安全领域缺乏标准化、可扩展的挑战以训练强化学习智能体的问题。
• 构建一个分层抽象模型（共七级），以捕捉网页漏洞和攻击面复杂度的逐步提升。
• 提供一个可重用、可自定义且符合伦理的基准，用于在真实网页渗透任务上训练强化学习智能体。
• 通过将 CTF 风格的挑战与强化学习形式化对齐，促进机器学习与网络安全研究人员之间的协作。

提出的方法

• Agent Web Model 将网页渗透建模为马尔可夫决策过程（MDP），其中状态表示网站的配置，动作表示 HTTP 请求。
• 定义了七个抽象层级，每一级通过增加更多对象（如文件、参数、会话）、动作和攻击面元素，逐步提升复杂度。
• 每一级均在 CTF 风格的游戏框架中建模特定类型的漏洞，如 SQL 注入、跨站脚本（XSS）、文件包含和权限提升。
• 该模型采用状态转移机制，每个智能体动作（HTTP 请求）都会导致新状态的生成，并根据是否捕获到标记或取得进展返回奖励信号。
• 前三个抽象层级已通过 OpenAI Gym 接口实现，支持与现有强化学习算法和训练流水线的无缝集成。
• 挑战支持参数化配置，可生成多样化的、随机化的网页渗透测试场景，以实现鲁棒的智能体训练。

实验结果

研究问题

• RQ1 如何在多个抽象层级上系统地将网页渗透测试形式化为强化学习问题？
• RQ2 抽象层级的提升对状态空间、动作空间以及强化学习智能体的学习难度有何影响？
• RQ3 能否创建一个标准化、可自定义且安全的环境，使强化学习智能体能够在无真实世界风险的前提下训练于真实网页漏洞？
• RQ4 不同类型的漏洞（如 SQL 注入、XSS、远程代码执行）在 Agent Web Model 中如何映射为不同的强化学习问题结构？
• RQ5 所提出的框架在多大程度上可作为推进强化学习与网络安全研究的基准？

主要发现

• Agent Web Model 有效地在七个抽象层级上将网页渗透建模为分层强化学习问题，状态空间和动作空间的复杂度随层级递增。
• 模型的前三个层级已通过符合 OpenAI Gym 标准的实现，可直接与现有强化学习训练流水线和算法集成。
• 该实现支持参数化配置，可生成大量多样化、但保持一致性的随机网页渗透测试挑战，以支持智能体训练。
• 通过结构化的状态与动作定义，该模型涵盖了广泛的现实世界漏洞，包括 SQL 注入、XSS、文件包含和权限提升。
• 该框架提供了一个安全、符合伦理且标准化的环境，用于在网页安全任务上训练强化学习智能体，重点在于概念验证式的标记捕获，而非破坏性利用。
• 作者证明，该模型能够构建出具有挑战性的学习任务，适用于推动强化学习在网络安全领域的研究进展，特别是在自动化渗透测试方面。