[论文解读] Pandora: Jailbreak GPTs by Retrieval Augmented Generation Poisoning

Gelei Deng, Yi Liu+4 more|arXiv (Cornell University)|Feb 13, 2024

Imbalanced Data Classification Techniques被引用 4

一句话总结

Pandora 提出了一种通过检索增强生成（RAG）污染实现的新型间接越狱攻击，通过注入恶意构造的外部知识源来操纵大语言模型的响应。该方法在四种禁止内容场景下，对 GPT-3.5 的成功率达到了 64.3%，对 GPT-4 的成功率为 34.8%，优于直接提示攻击。

ABSTRACT

Large Language Models~(LLMs) have gained immense popularity and are being increasingly applied in various domains. Consequently, ensuring the security of these models is of paramount importance. Jailbreak attacks, which manipulate LLMs to generate malicious content, are recognized as a significant vulnerability. While existing research has predominantly focused on direct jailbreak attacks on LLMs, there has been limited exploration of indirect methods. The integration of various plugins into LLMs, notably Retrieval Augmented Generation~(RAG), which enables LLMs to incorporate external knowledge bases into their response generation such as GPTs, introduces new avenues for indirect jailbreak attacks. To fill this gap, we investigate indirect jailbreak attacks on LLMs, particularly GPTs, introducing a novel attack vector named Retrieval Augmented Generation Poisoning. This method, Pandora, exploits the synergy between LLMs and RAG through prompt manipulation to generate unexpected responses. Pandora uses maliciously crafted content to influence the RAG process, effectively initiating jailbreak attacks. Our preliminary tests show that Pandora successfully conducts jailbreak attacks in four different scenarios, achieving higher success rates than direct attacks, with 64.3\% for GPT-3.5 and 34.8\% for GPT-4.

研究动机与目标

• 研究通过利用检索增强生成（RAG）集成，对大语言模型（特别是 GPT）实施间接越狱攻击。
• 开发一种新型攻击向量——RAG 污染，通过操纵外部知识库来诱导大语言模型产生恶意行为。
• 证明通过污染的 RAG 内容实现越狱 GPT 的可行性与高成功率，且优于直接攻击方法。
• 在包括成人内容、有害内容、侵犯隐私内容和非法内容在内的多个禁止内容场景中评估该攻击的有效性。

提出的方法

• 该攻击构建了包含对抗性内容的恶意知识库，当被检索时可触发越狱行为。
• 利用提示工程引导大语言模型在生成响应时检索并使用被污染的 RAG 内容。
• 通过创建集成污染知识库的自定义 GPT 实例，将该方法与 GPT 集成，实现端到端的越狱执行。
• 采用两阶段流程：首先污染 RAG 知识源；其次设计提示以触发恶意内容的检索。
• 在四类禁止内容类别中评估该攻击：成人内容、有害内容、侵犯隐私内容和非法内容。
• 该框架设计为可重复使用且可扩展，允许任何用户通过构建的污染 GPT 实例部署越狱版 GPT。

实验结果

研究问题

• RQ1 RAG 污染能否作为 GPT 的可行间接越狱向量，绕过传统安全过滤机制？
• RQ2 RAG 污染在 GPT-3.5 和 GPT-4 上的成功率与直接越狱攻击相比如何？
• RQ3 哪种禁止内容类别最易受基于 RAG 的越狱攻击，原因是什么？
• RQ4 模型架构（例如 GPT-3.5 与 GPT-4）如何影响 RAG 污染的有效性？
• RQ5 该攻击是否能在多次实验中稳定重现，表明其可靠性和鲁棒性？

主要发现

• Pandora 在四种禁止内容场景下对 GPT-3.5 的越狱成功率达到 64.3%，显著优于直接攻击方法。
• GPT-4 的成功率为 34.8%，仍远高于直接攻击在 GPT-4 上 1.0% 的成功率。
• 隐私类别最为脆弱，所有模型和场景下的平均成功率达到 35.3%。
• 该攻击在多次实验轮次中表现出高度可重复性和一致性，表明其可靠性。
• 基于 GPT-4 的聊天机器人和 GPT 实例比 GPT-3.5 版本更具韧性，表明新模型在对齐方面有所改进。
• 结果证实，RAG 污染是一种强大且可扩展的攻击向量，能够利用大语言模型与外部知识检索之间的协同效应。