[论文解读] Teams of LLM Agents can Exploit Zero-Day Vulnerabilities

Zhu, Yuxuan, Kellermann, Antony+5 more|arXiv (Cornell University)|Jun 2, 2024

Blockchain Technology Applications and Security被引用 18

一句话总结

本文提出 HPTSA，一种分层规划的多代理系统，能够让 LLM 代理团队在现实世界的零日网页漏洞中实现自动利用，超越基线并接近描述性知识性能。

ABSTRACT

LLM agents have become increasingly sophisticated, especially in the realm of cybersecurity. Researchers have shown that LLM agents can exploit real-world vulnerabilities when given a description of the vulnerability and toy capture-the-flag problems. However, these agents still perform poorly on real-world vulnerabilities that are unknown to the agent ahead of time (zero-day vulnerabilities). In this work, we show that teams of LLM agents can exploit real-world, zero-day vulnerabilities. Prior agents struggle with exploring many different vulnerabilities and long-range planning when used alone. To resolve this, we introduce HPTSA, a system of agents with a planning agent that can launch subagents. The planning agent explores the system and determines which subagents to call, resolving long-term planning issues when trying different vulnerabilities. We construct a benchmark of 14 real-world vulnerabilities and show that our team of agents improve over prior agent frameworks by up to 4.3X.

研究动机与目标

• 通过网络安全领域 AI 代理研究，激发对零日漏洞利用的兴趣。
• 提出一个多代理框架（HPTSA），以克服单代理的规划与探索局限。
• 证明代理团队能够在一个基准上自主利用现实世界的零日漏洞。
• 评估使用 LLM 代理进行自主网络安全漏洞利用的成本与实用性。

提出的方法

• 引入 HPTSA，包含三个组件：分层规划器、团队管理者和面向任务的专家代理。
• 设计六位专家代理（XSS、SQLi、CSRF、SSTI、ZAP，以及一个通用网页攻击代理），具备访问 Playwright、终端和文件工具的能力。
• 在所有实验中使用 GPT-4，结合 LangChain/LangGraph 协调代理并通过 HTML 简化降低标记负载。
• 构建一个包含 15 个在 GPT-4 知识截止日期之后的真实世界网页漏洞的基准，并在沙箱环境中验证利用。
• 通过通过 5 轮命中率（主要指标）和通过 1 轮命中率的评估，以及消融实验和案例研究来评估性能。

实验结果

研究问题

• RQ1 多代理的 LLM 系统能否自主利用现实世界的零日网页漏洞？
• RQ2 分层规划和任务特定分工如何影响长时间跨度的漏洞利用？
• RQ3 在零日漏洞上，HPTSA 与单一 GPT-4 代理和传统扫描器相比如何？
• RQ4 代理文档与专家代理在实现高性能中的作用是什么？

主要发现

• HPTSA 在零日基准测试中实现了通过 5 的命中率为 53%，通过 1 的命中率为 33.3%。
• HPTSA 在通过 1 的命中率上比不含漏洞描述的 GPT-4 高出约 4.5×，在通过 5 的命中率上高出约 2.7×。
• HPTSA 在通过 5 的命中率方面，接近 GPT-4 提供漏洞描述时的表现，差距在 1.4× 内。
• 开源扫描器（ZAP、Metasploit）在基准测试中得分为 0%。
• 移除专家代理或文档会显著降低性能（通过 1 的命中率下降最多 4×，通过 5 的下降约 27%）。
• 平均每次代理运行成本为 $4.39，整体成功率为 18%，意味着每次成功利用成本约 $24.39。