[论文解读] Whispers in the Machine: Confidentiality in Agentic Systems

Jonathan Evertz, Merlin Chlosta+2 more|arXiv (Cornell University)|Feb 10, 2024

Digital Rights Management and Security被引用 4

一句话总结

本文引入了一个形式化的「密钥」游戏，用于评估和提升大语言模型（LLM）集成系统中的机密性，其中 LLM 与外部工具交互。通过基于黑盒提示的对抗性训练进行鲁棒性微调，将单个攻击的成功率降低高达 50%，并提升了对未知威胁的防御能力，结合输入/输出净化后，平均成功率降低 14 个百分点。

ABSTRACT

The interaction between users and applications is increasingly shifted toward natural language by deploying Large Language Models (LLMs) as the core interface. The capabilities of these so-called agents become more capable the more tools and services they serve as an interface for, ultimately leading to agentic systems. Agentic systems use LLM-based agents as interfaces for most user interactions and various integrations with external tools and services. While these interfaces can significantly enhance the capabilities of the agentic system, they also introduce a new attack surface. Manipulated integrations, for example, can exploit the internal LLM and compromise sensitive data accessed through other interfaces. While previous work primarily focused on attacks targeting a model's alignment or the leakage of training data, the security of data that is only available during inference has escaped scrutiny so far. In this work, we demonstrate how the integration of LLMs into systems with external tool integration poses a risk similar to established prompt-based attacks, able to compromise the confidentiality of the entire system. Introducing a systematic approach to evaluate these confidentiality risks, we identify two specific attack scenarios unique to these agentic systems and formalize these into a tool-robustness framework designed to measure a model's ability to protect sensitive information. Our analysis reveals significant vulnerabilities across all tested models, highlighting an increased risk when models are combined with external tools.

研究动机与目标

• 为解决 LLM 集成系统中机密性缺乏正式评估的问题，防止私有数据在工具接口间泄露。
• 系统性评估现有基于提示的攻击与防御机制在最先进 LLM 上的有效性。
• 开发一种可泛化的防御机制，提升 LLM 对已知与未知机密性攻击的鲁棒性。
• 证明受对抗训练启发的鲁棒性微调可显著降低秘密提取攻击的成功率。

提出的方法

• 形式化设计一个「密钥」游戏，要求模型在交互过程中隐藏一个随机生成的密钥字符串，以模拟现实世界中的数据机密性。
• 实现八种基于提示的攻击策略以提取密钥，包括越狱攻击、角色扮演和指令注入技术。
• 评估四种现有防御机制：输入净化、输出过滤、提示重述和基于困惑度阈值的检测。
• 提出基于黑盒对抗提示的鲁棒性微调方法——利用攻击生成的对抗性输入对 LLM 进行微调，无需白盒访问。
• 通过 QLoRA 实现参数高效微调（PEFT），在保持性能的同时降低计算成本。
• 将微调后的模型与输入/输出净化结合，构建分层防御，测量其综合有效性。

实验结果

研究问题

• RQ1 现有基于提示的攻击在从 LLM 集成系统中提取密钥方面的有效性如何？
• RQ2 当前防御机制在多种攻击策略下的泛化能力如何？
• RQ3 鲁棒性微调能否提升 LLM 对已知与未知机密性攻击的防御能力？
• RQ4 将微调与输入/输出净化结合后，对整体攻击成功率的影响如何？

主要发现

• 在无防御情况下，最有效的攻击在最先进 LLM 上提取密钥的成功率达到 61%。
• 现有防御措施可缓解部分攻击，但难以泛化，许多攻击在不同策略下仍具有效性。
• 针对单一攻击进行鲁棒性微调，将平均攻击成功率从 26.5% 降低至 12.75%，降幅达 13.75 个百分点。
• 当同时针对全部八种攻击进行微调时，平均成功率下降 9 个百分点。
• 交叉验证显示，对未见过的攻击表现出更强鲁棒性，表明泛化能力得到提升。
• 将微调与输入/输出净化结合后，平均攻击成功率降低 14 个百分点。