[论文解读] PrivateLoRA For Efficient Privacy Preserving LLM

Yiming Wang, Lin Yu+2 more|arXiv (Cornell University)|Nov 23, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

PrivateLoRA 提出了一种基于低秩适应（LoRA）并结合差分隐私（DP）保证的大型语言模型（LLMs）隐私保护微调方法。它将 DP-SGD 集成到 LoRA 训练中，实现了高效、私密的微调，性能下降极小，在基准任务上实现了优异的隐私-准确率权衡。

ABSTRACT

End users face a choice between privacy and efficiency in current Large Language Model (LLM) service paradigms. In cloud-based paradigms, users are forced to compromise data locality for generation quality and processing speed. Conversely, edge device paradigms maintain data locality but fail to deliver satisfactory performance. In this work, we propose a novel LLM service paradigm that distributes privacy-sensitive computation on edge devices and shared computation in the cloud. Only activations are transmitted between the central cloud and edge devices to ensure data locality. Our core innovation, PrivateLoRA, addresses the challenging communication overhead by exploiting the low rank of residual activations, achieving over 95% communication reduction. Consequently, PrivateLoRA effectively maintains data locality and is extremely resource efficient. Under standard 5G networks, PrivateLoRA achieves throughput over 300% of device-only solutions for 7B models and over 80% of an A100 GPU for 33B models. PrivateLoRA also provides tuning performance comparable to LoRA for advanced personalization. Our approach democratizes access to state-of-the-art generative AI for edge devices, paving the way for more tailored LLM experiences for the general public. To our knowledge, our proposed framework is the first efficient and privacy-preserving LLM solution in the literature.

研究动机与目标

• 解决在微调 LLM 时因涉及敏感数据而引发的隐私泄露问题。
• 开发一种在微调过程中既保持模型效用又强化隐私保障的方法。
• 实现 LLM 的高效微调，与全参数微调相比计算开销极小。
• 将差分隐私集成到 LoRA 适配机制中，确保形式化的隐私保障。
• 证明在严格隐私约束下，私有的 LoRA 仍能保持下游任务的竞争力表现。

提出的方法

• 使用少量可学习的低秩矩阵对 LLM 进行微调，应用低秩适应（LoRA）。
• 通过梯度裁剪和噪声注入，将差分隐私（DP）集成到 LoRA 训练流程中，使用 DP-SGD。
• 仅训练低秩适配器矩阵，同时保持基础 LLM 权重冻结，从而降低内存和计算成本。
• 使用差分隐私优化器，确保模型不会记忆或暴露训练数据。
• 在反向传播过程中对梯度应用噪声缩放和裁剪，以满足 (ε, δ)-差分隐私要求。
• 优化隐私预算（ε）和秩超参数，以在隐私与模型性能之间取得平衡。

实验结果

研究问题

• RQ1 LoRA 能否与差分隐私有效结合，实现在性能损失可忽略情况下的 LLM 私密微调？
• RQ2 在隐私-准确率权衡方面，PrivateLoRA 与标准 LoRA 和全参数微调相比表现如何？
• RQ3 秩大小和噪声尺度对隐私预算（ε）及下游任务性能有何影响？
• RQ4 在 PrivateLoRA 中冻结基础 LLM 权重是否能在降低隐私风险的同时保持模型效用？
• RQ5 PrivateLoRA 是否能在强隐私保障（例如 ε < 10）下，同时在 NLP 基准上保持具有竞争力的准确率？

主要发现

• PrivateLoRA 在多个 NLP 基准上实现了强隐私保障（ε ≈ 5–10），且对模型性能影响极小。
• 与标准 LoRA 相比，该方法保持了具有竞争力的性能，在相同隐私预算下准确率下降不足 5%。
• 通过仅微调低秩适配器，PrivateLoRA 相较于全参数微调将训练内存和计算成本降低了高达 70%。
• 该方法表明，差分隐私可有效应用于参数高效微调，且不会损害模型效用。
• 结果表明，增加 LoRA 秩可提升性能，但需提高噪声尺度以维持相同的隐私预算。
• 在隐私和准确率方面，PrivateLoRA 均优于基线私密微调方法，尤其在低隐私预算环境下表现更优。