[论文解读] Synthetic Query Generation for Privacy-Preserving Deep Retrieval Systems using Differentially Private Language Models

Aldo Gael Carranza, Rezsa Farahani+4 more|arXiv (Cornell University)|May 10, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出使用差分隐私语言模型（DP-LM）生成合成查询，以在训练深度检索系统之前保护用户查询隐私。通过使用这些私有的合成查询而非原始数据来训练检索模型，该方法在保持强大查询级别隐私保障的同时，显著优于直接的差分隐私训练，检索性能也更优。

ABSTRACT

We address the challenge of ensuring differential privacy (DP) guarantees in training deep retrieval systems. Training these systems often involves the use of contrastive-style losses, which are typically non-per-example decomposable, making them difficult to directly DP-train with since common techniques require per-example gradients. To address this issue, we propose an approach that prioritizes ensuring query privacy prior to training a deep retrieval system. Our method employs DP language models (LMs) to generate private synthetic queries representative of the original data. These synthetic queries can be used in downstream retrieval system training without compromising privacy. Our approach demonstrates a significant enhancement in retrieval quality compared to direct DP-training, all while maintaining query-level privacy guarantees. This work highlights the potential of harnessing LMs to overcome limitations in standard DP-training methods.

研究动机与目标

• 解决将差分隐私（DP）应用于使用非逐样本可分解对比损失的深度检索系统所面临的挑战，这类损失难以直接进行DP训练。
• 通过在模型训练前将隐私保护提前至上游，提升DP约束下的检索系统实用性。
• 探究通过DP微调的语言模型生成的合成数据是否能在隐私和检索性能两方面优于直接的DP训练。
• 证明可在不牺牲检索质量的前提下保护查询级别隐私，尤其适用于非可分解损失的系统。

提出的方法

• 在原始用户查询上使用差分隐私（DP）微调大型语言模型（LM），以生成私有的合成查询。
• 利用微调后的DP-LM生成代表原始数据分布的合成查询-文档对数据集。
• 在合成数据集上训练下游深度检索系统，而非原始私有数据，从而通过构建实现查询级别隐私保护。
• 利用预训练LM的泛化能力注入公共知识，提升合成数据质量与下游模型的实用性。
• 在合成数据上应用标准对比损失训练，避免在非可分解损失中因逐样本梯度计算带来的敏感性问题。
• 通过canary暴露攻击评估隐私泄露情况，以实证验证DP保障，特别是在高epsilon设置下。

Figure 1: Illustration of approach.

实验结果

研究问题

• RQ1 通过DP微调的语言模型生成合成查询，是否能实现比直接对深度检索模型进行DP训练更好的检索性能？
• RQ2 在非逐样本可分解损失的系统中，是否能在训练前生成私有的合成查询，从而实现强大的查询级别隐私保障？
• RQ3 在相同隐私预算下，基于DP生成的合成数据训练的检索模型的实用性，与通过直接DP-SGD训练的模型相比如何？
• RQ4 DP微调的语言模型在多大程度上会泄露私有信息，通过canary暴露攻击进行衡量？

主要发现

• 与直接DP训练相比，所提出方法在相同隐私预算下显著提升了检索质量，原因在于合成查询质量更高。
• 在epsilon = 16时，DP微调的LM成功防止了canary暴露，epsilon的下限约为0.015，表明具有强大的经验隐私保障。
• 当canary重复10次时未被泄露，重复100次时也未被泄露，表明对推理攻击具有鲁棒性。
• 未使用DP训练时，泄露率很高：重复10次的canary中有67%被暴露，重复100次的全部被暴露，证实了DP的必要性。
• 该方法可在不修改对比损失或梯度计算的前提下实现有效的隐私保护，绕过了此类模型中DP训练的固有局限。
• 更大的语言模型能生成质量更高的合成查询，尽管计算成本更高，表明质量与效率之间存在权衡。

Figure 2: Illustration of deep retrieval dual encoder model. Dashed lines connecting the encoders represent a shared encoder.