[论文解读] PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action

Yijia Shao, Tianshi Li+3 more|arXiv (Cornell University)|Aug 29, 2024

Privacy, Security, and Data Protection被引用 4

一句话总结

PrivacyLens 提出了一种新颖的框架，通过从隐私敏感种子生成富有表现力的短篇故事和代理轨迹，来评估语言模型在真实世界代理应用中的隐私规范意识。结果显示，即使在使用隐私增强提示的情况下，最先进的模型如 GPT-4 和 Llama-3-70B 仍分别在 25.68% 和 38.69% 的情况下泄露敏感信息，凸显了探针性能与实际行为之间存在关键差距。

ABSTRACT

As language models (LMs) are widely utilized in personalized communication scenarios (e.g., sending emails, writing social media posts) and endowed with a certain level of agency, ensuring they act in accordance with the contextual privacy norms becomes increasingly critical. However, quantifying the privacy norm awareness of LMs and the emerging privacy risk in LM-mediated communication is challenging due to (1) the contextual and long-tailed nature of privacy-sensitive cases, and (2) the lack of evaluation approaches that capture realistic application scenarios. To address these challenges, we propose PrivacyLens, a novel framework designed to extend privacy-sensitive seeds into expressive vignettes and further into agent trajectories, enabling multi-level evaluation of privacy leakage in LM agents' actions. We instantiate PrivacyLens with a collection of privacy norms grounded in privacy literature and crowdsourced seeds. Using this dataset, we reveal a discrepancy between LM performance in answering probing questions and their actual behavior when executing user instructions in an agent setup. State-of-the-art LMs, like GPT-4 and Llama-3-70B, leak sensitive information in 25.68% and 38.69% of cases, even when prompted with privacy-enhancing instructions. We also demonstrate the dynamic nature of PrivacyLens by extending each seed into multiple trajectories to red-team LM privacy leakage risk. Dataset and code are available at https://github.com/SALT-NLP/PrivacyLens.

研究动机与目标

• 为衡量语言模型代理在隐私规范意识方面的表现，填补缺乏真实世界评估框架的空白。
• 识别语言模型在隐私探针问题上的表现与其在代理工作流中实际行为之间的脱节。
• 开发一种可扩展、可扩展的框架，以捕捉工具增强型语言模型交互中依赖上下文的隐私规范。
• 量化语言模型中介通信中无意隐私泄露的风险，尤其是在模型通过日历或电子邮件等工具访问敏感数据的情况下。

提出的方法

• 基于隐私文献和众包输入，运用情境完整性理论，将隐私敏感种子嵌入到数据主体、发送者、接收者和传输方式等维度，以定义隐私规范。
• 通过基于模板的生成方法，将每个种子扩展为富有表现力、上下文丰富的短篇故事，以模拟真实的代理场景。
• 通过编排工具使用行为（例如读取日历、发送邮件）来模拟代理轨迹，依据用户指令和观察到的数据。
• 采用多级评估管道，判断最终代理行为是否违反已确立的隐私规范。
• 通过为每个种子生成多种多样化的轨迹对模型进行红队测试，以揭示最坏情况下的信息泄露场景。
• 维护一个开源、可扩展的框架，数据集和代码已在 GitHub 上公开，供社区使用和扩展。

实验结果

研究问题

• RQ1 当语言模型作为代理在真实通信工作流中运行时，即使接收到隐私保护提示，它们在多大程度上会违反隐私规范？
• RQ2 语言模型在隐私探针问题上的表现与它们在代理轨迹中的实际行为之间是否存在相关性？
• RQ3 在多样化、上下文敏感的场景中，语言模型中介通信中无意隐私泄露的普遍程度如何？
• RQ4 如何系统性地评估涉及工具使用和敏感数据访问的代理工作流中的隐私规范意识？
• RQ5 该框架能否通过生成对抗性轨迹来扩展应用，以暴露隐私泄露风险？

主要发现

• 即使在使用隐私增强提示的情况下，最先进的语言模型如 GPT-4 和 Llama-3-70B 仍分别在 25.68% 和 38.69% 的代理轨迹中泄露敏感信息。
• 语言模型在隐私探针问题上的表现与其在代理工作流中的实际行为之间存在显著差异，表明仅靠探针任务不足以评估隐私安全性。
• 该框架成功生成了多样化、上下文丰富的代理轨迹，揭示了罕见但后果严重的隐私泄露案例。
• PrivacyLens 框架通过为每个种子生成多条轨迹，实现了对语言模型的动态红队测试，揭示了工具增强型代理行为中隐藏的隐私风险。
• 数据集和代码以 CC BY 许可证公开，支持社区使用和扩展，用于评估代理型语言模型的隐私规范意识。