[论文解读] Privacy Preserving Prompt Engineering: A Survey

Kennedy Edemacu, Xintao Wu|arXiv (Cornell University)|Apr 9, 2024

Cryptography and Data Security被引用 4

一句话总结

本综述系统性地对大型语言模型（LLMs）的隐私保护提示工程技术进行了分类与分析，重点聚焦于上下文学习（ICL）和提示工程。该综述基于差分隐私、数据混淆、联邦学习和密码学技术评估了各类方法，突出了隐私、效用与公平性之间的权衡，并指出了在可信度、多模态扩展和基准测试方面存在的关键研究空白。

ABSTRACT

Pre-trained language models (PLMs) have demonstrated significant proficiency in solving a wide range of general natural language processing (NLP) tasks. Researchers have observed a direct correlation between the performance of these models and their sizes. As a result, the sizes of these models have notably expanded in recent years, persuading researchers to adopt the term large language models (LLMs) to characterize the larger-sized PLMs. The size expansion comes with a distinct capability called in-context learning (ICL), which represents a special form of prompting and allows the models to be utilized through the presentation of demonstration examples without modifications to the model parameters. Although interesting, privacy concerns have become a major obstacle in its widespread usage. Multiple studies have examined the privacy risks linked to ICL and prompting in general, and have devised techniques to alleviate these risks. Thus, there is a necessity to organize these mitigation techniques for the benefit of the community. This survey provides a systematic overview of the privacy protection methods employed during ICL and prompting in general. We review, analyze, and compare different methods under this paradigm. Furthermore, we provide a summary of the resources accessible for the development of these frameworks. Finally, we discuss the limitations of these frameworks and offer a detailed examination of the promising areas that necessitate further exploration.

研究动机与目标

• 系统组织并分析现有的大型语言模型（LLMs）隐私保护提示框架，尤其聚焦于上下文学习（ICL）情境。
• 根据隐私模型、目标和威胁模型对隐私机制进行分类，区分非差分隐私（non-DP）、本地差分隐私（local DP）、全局差分隐私（global DP）及其他场景。
• 评估隐私保护技术对大型语言模型可信度各维度（包括公平性、鲁棒性、安全性与真实性）的综合影响，而不仅限于隐私本身。
• 识别在基准数据集、开源工具以及与真实世界系统集成方面的关键研究空白。
• 探索将隐私保护提示技术扩展至多模态模型（如视觉-语言模型，VLMs）的可能性。

提出的方法

• 将隐私保护提示框架划分为四大类：非差分隐私（non-DP）、本地差分隐私（local DP）、全局差分隐私（global DP）及其他场景。
• 分析差分隐私（DP）、数据清洗、基于格的混淆、加密以及模型集成等机制的隐私保障能力及其操作约束。
• 利用机制-目标关联模型，将每种框架映射至特定的隐私目标，包括模型输入、输出及中间表示。
• 评估各类方法在性能与隐私之间的权衡，特别是差分隐私对小类别数据在合成数据生成中造成的负面影响。
• 调研现有的开源库与软件工具，指出其普遍依赖于匿名化技术，而该技术易受重识别攻击。
• 提出未来研究方向，包括用户可控生成控制的安全集成，以及将DP前向技术扩展至视觉、音频和视频模型。

实验结果

研究问题

• RQ1 不同隐私保护提示框架在隐私保障、效用性与计算开销方面如何比较？
• RQ2 在上下文学习中应用差分隐私时，隐私、公平性与模型性能之间存在何种权衡？
• RQ3 现有框架在将生成控制权与用户共享时，如何应对服务器端被攻破的风险？
• RQ4 现有隐私保护技术在多模态模型（如视觉-语言模型，VLMs）中的可扩展性如何？
• RQ5 当前基准数据集与开源工具在支持隐私保护提示技术的可复现性与标准化评估方面存在哪些局限？

主要发现

• 尽管差分隐私机制在隐私保护方面有效，但可能导致合成数据生成中的不公平性，尤其对小类别数据影响显著。
• 许多现有开源隐私保护框架依赖于匿名化，而该技术已被证实易受重识别攻击。
• 若将生成控制权交由不可信客户端，基于密码学与格的框架可能对服务器引入安全风险。
• 由于缺乏标准化的基准数据集和生产就绪的开源库，隐私保护提示技术在真实世界系统中的集成受到阻碍。
• 将DP前向等隐私保护技术扩展至视觉、音频和视频模型是一个有前景但尚未充分探索的研究方向。
• 目前缺乏对隐私保护提示技术在大型语言模型可信度更广泛维度（如真实性、安全性与鲁棒性）影响的系统性研究。