[论文解读] Prompt Packer: Deceiving LLMs through Compositional Instruction with Hidden Attacks

Shuyu Jiang, Xingshu Chen+1 more|arXiv (Cornell University)|Oct 16, 2023

Topic Modeling被引用 7

一句话总结

本文提出组合式指令攻击（CIA），一种通过在看似无害的多意图提示中嵌入有害指令来欺骗大型语言模型（LLMs）的新方法。利用模拟对话或写作任务的T-CIA和W-CIA转换技术，该攻击在GPT-4、ChatGPT和ChatGLM2-6B上的成功率超过91%，暴露出LLM对隐藏恶意意图对齐机制中的关键漏洞。

ABSTRACT

Recently, Large language models (LLMs) with powerful general capabilities have been increasingly integrated into various Web applications, while undergoing alignment training to ensure that the generated content aligns with user intent and ethics. Unfortunately, they remain the risk of generating harmful content like hate speech and criminal activities in practical applications. Current approaches primarily rely on detecting, collecting, and training against harmful prompts to prevent such risks. However, they typically focused on the "superficial" harmful prompts with a solitary intent, ignoring composite attack instructions with multiple intentions that can easily elicit harmful content in real-world scenarios. In this paper, we introduce an innovative technique for obfuscating harmful instructions: Compositional Instruction Attacks (CIA), which refers to attacking by combination and encapsulation of multiple instructions. CIA hides harmful prompts within instructions of harmless intentions, making it impossible for the model to identify underlying malicious intentions. Furthermore, we implement two transformation methods, known as T-CIA and W-CIA, to automatically disguise harmful instructions as talking or writing tasks, making them appear harmless to LLMs. We evaluated CIA on GPT-4, ChatGPT, and ChatGLM2 with two safety assessment datasets and two harmful prompt datasets. It achieves an attack success rate of 95%+ on safety assessment datasets, and 83%+ for GPT-4, 91%+ for ChatGPT (gpt-3.5-turbo backed) and ChatGLM2-6B on harmful prompt datasets. Our approach reveals the vulnerability of LLMs to such compositional instruction attacks that harbor underlying harmful intentions, contributing significantly to LLM security development. Warning: this paper may contain offensive or upsetting content!

研究动机与目标

• 揭示LLMs对多意图对抗性提示的脆弱性，这些提示在表面无害的伪装下隐藏有害指令。
• 开发可自动执行、无需参数调整的大规模生成此类欺骗性提示的方法。
• 评估这些攻击在GPT-4、ChatGPT和ChatGLM2-6B等领先LLMs上的有效性。
• 证明当前对齐机制无法检测复合指令中隐藏的恶意意图。
• 为通过红队测试和意图识别研究提升LLM安全性提供基础。

提出的方法

• 提出组合式指令攻击（CIA）作为框架，用于组合多个指令，将有害意图嵌入表面无害的指令中。
• 引入T-CIA（对话-CIA），利用心理学原理——特别是相似性吸引效应——推断并采用负面人格，使LLMs更可能遵从有害请求。
• 开发W-CIA（写作-CIA），通过在上下文学习中将有害提示伪装成写作任务（例如，续写小说）来隐藏恶意意图。
• 采用无需模型参数访问的自动提示生成方法，实现LLMs的大规模红队测试。
• 通过多个LLMs上的安全评估和有害提示数据集验证攻击成功率。
• 通过人工评估确认LLMs的判断与人工标注一致，确保结果可靠性。

实验结果

研究问题

• RQ1 LLMs能否被组合指令欺骗，这些指令在表面上结合了无害和有害意图？
• RQ2 当前对齐机制在多意图提示中未能检测到隐藏恶意意图的程度如何？
• RQ3 T-CIA和W-CIA在生成可绕过安全过滤的不可检测对抗性提示方面的有效性如何？
• RQ4 由于解码随机性，重复攻击是否会提高成功概率？
• RQ5 能否利用相似性吸引效应等心理学原理来操控LLM行为？

主要发现

• CIA在安全评估数据集上的攻击成功率超过95%，表明其在逃避检测方面具有极高有效性。
• 在有害提示数据集上，GPT-4的攻击成功率达到83%以上，ChatGPT（gpt-3.5-turbo）和ChatGLM2-6B的攻击成功率均超过91%。
• T-CIA在人工评估中达到90.2%的一致性评分，表明模型在攻击下行为可靠且一致。
• W-CIA在人工评估中的一致性评分为82.0%，证实其在生成欺骗性写作类攻击方面具有可靠性。
• 随着重复次数增加，攻击成功率上升，表明解码随机性加剧了对组合式攻击的脆弱性。
• 成功的T-CIA攻击在人格空间中表现出更强的语义集中性，表明基于相似性的过滤可能是一种有效的防御机制。