[论文解读] Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems

Dong-Hyun Lee, Mansi Tiwari|arXiv (Cornell University)|Oct 9, 2024

Simulation Techniques and Applications被引用 4

一句话总结

本文提出 Prompt Infection，一种新颖的 LLM-to-LLM 提示注入攻击，可在多智能体系统中实现自复制恶意提示的传播，导致数据泄露和系统被攻破。作者证明，将 LLM 标记（LLM Tagging）与现有防御机制结合，可显著降低感染成功率，凸显了在多智能体 LLM 架构中采用集成安全策略的必要性。

ABSTRACT

As Large Language Models (LLMs) grow increasingly powerful, multi-agent systems are becoming more prevalent in modern AI applications. Most safety research, however, has focused on vulnerabilities in single-agent LLMs. These include prompt injection attacks, where malicious prompts embedded in external content trick the LLM into executing unintended or harmful actions, compromising the victim's application. In this paper, we reveal a more dangerous vector: LLM-to-LLM prompt injection within multi-agent systems. We introduce Prompt Infection, a novel attack where malicious prompts self-replicate across interconnected agents, behaving much like a computer virus. This attack poses severe threats, including data theft, scams, misinformation, and system-wide disruption, all while propagating silently through the system. Our extensive experiments demonstrate that multi-agent systems are highly susceptible, even when agents do not publicly share all communications. To address this, we propose LLM Tagging, a defense mechanism that, when combined with existing safeguards, significantly mitigates infection spread. This work underscores the urgent need for advanced security measures as multi-agent LLM systems become more widely adopted.

研究动机与目标

• 调查多智能体系统（MAS）对 LLM-to-LLM 提示注入攻击的脆弱性，此类攻击已超越单智能体威胁的范畴。
• 证明恶意提示可在智能体之间自复制，导致协调性的数据外泄、错误信息传播和系统中断。
• 评估现有防御机制（如标记、指令防御和夹心防御）对这一新型攻击面的有效性。
• 提出并验证 LLM 标记作为防御手段，当与其他技术结合时，可显著减少 MAS 中的感染传播。
• 挑战分布式 MAS 架构本质上更安全的假设，揭示智能体间内部相互攻破是关键威胁。

提出的方法

• 作者设计并执行了一种名为 Prompt Infection 的新型攻击向量，其中被攻破的智能体通过协调通信将恶意提示传播给其他智能体。
• 他们使用 LangGraph 和 AutoGen 等框架模拟多智能体系统，使具有不同角色（如记忆检索、代码执行）的智能体能够协作。
• 该攻击在多种场景下进行测试：数据窃取、社交模拟和基于工具的命令执行，使用包括 GPT-3.5 Turbo 和 GPT-4o 在内的模型。
• LLM 标记被引入作为防御机制，通过在智能体生成的输出中附加唯一标记，帮助下游智能体区分用户输入与 LLM 生成的内容。
• LLM 标记的有效性通过与其它基于提示的防御手段（如标记、指令防御、夹心防御）组合进行评估，以攻击成功率作为主要指标。
• 实验使用手工构造和算法生成的攻击提示，以评估对逃避技术的鲁棒性。

Figure 1: Detailed Example of Prompt Infection (Data Theft). The first agent that interacts with the contaminated external document becomes compromised, extracting and propagating the infection prompt. Compromised downstream agents then execute specific instructions designed for each agent of intere

实验结果

研究问题

• RQ1 恶意提示是否能在多智能体系统中通过互联的 LLM 智能体自复制，导致系统性破坏？
• RQ2 Prompt Infection 的攻击成功率在不同 LLM 架构（包括 GPT-3.5 Turbo 和 GPT-4o）中如何变化？
• RQ3 现有防御机制（如标记、指令防御和夹心防御）在多大程度上能防范 LLM-to-LLM 提示注入攻击？
• RQ4 LLM 标记能否单独防止感染，还是仅在与其他防御手段结合时才有效？
• RQ5 记忆检索系统和智能体协作的存在如何影响社交模拟环境中提示感染的传播与影响？

主要发现

• Prompt Infection 允许自复制的恶意提示在智能体之间传播，导致协调性的数据外泄和系统中断，即使智能体未公开共享所有通信内容。
• 更强大的模型如 GPT-4o 在被攻破后更具攻击执行能力，因其具备更强的推理和工具使用能力，从而增加了系统性风险。
• 标记 + LLM 标记的防御组合将攻击成功率降低至 0%，优于所有其他测试配置。
• 指令防御 + LLM 标记将攻击成功率降至 3%，而夹心防御 + LLM 标记将成功率降至 16%，表明混合防御策略具有显著价值。
• 仅使用 LLM 标记可使攻击成功率降低 5%，表明单独的防御手段对复杂 LLM-to-LLM 感染无效。
• 攻击成功绕过了防御机制，使用如插入特殊字符（例如 _）等技术，表明手工标记可被算法生成的提示所规避。

Figure 2: Overview of Prompt Infection (Data Theft). Agents with different tools collaborate to exfiltrate data.