[论文解读] On a Utilitarian Approach to Privacy Preserving Text Generation

Zekun Xu, Abhinav Aggarwal+2 more|arXiv (Cornell University)|Apr 23, 2021

Privacy-Preserving Technologies in Data参考文献 37被引用 8

一句话总结

本文提出Vickrey机制，一种新颖的差分隐私文本生成方法，通过从噪声词嵌入的k个最近邻中概率性选择来改善隐私-效用权衡，其核心思想源自二价拍卖机制，聚焦于第二近邻。该方法在相同的经验隐私保障下，相较于最先进方法，效用最高提升50%，适用于文本分类数据集。

ABSTRACT

Differentially-private mechanisms for text generation typically add carefully calibrated noise to input words and use the nearest neighbor to the noised input as the output word. When the noise is small in magnitude, these mechanisms are susceptible to reconstruction of the original sensitive text. This is because the nearest neighbor to the noised input is likely to be the original input. To mitigate this empirical privacy risk, we propose a novel class of differentially private mechanisms that parameterizes the nearest neighbor selection criterion in traditional mechanisms. Motivated by Vickrey auction, where only the second highest price is revealed and the highest price is kept private, we balance the choice between the first and the second nearest neighbors in the proposed class of mechanisms using a tuning parameter. This parameter is selected by empirically solving a constrained optimization problem for maximizing utility, while maintaining the desired privacy guarantees. We argue that this empirical measurement framework can be used to align different mechanisms along a common benchmark for their privacy-utility tradeoff, particularly when different distance metrics are used to calibrate the amount of noise added. Our experiments on real text classification datasets show up to 50% improvement in utility compared to the existing state-of-the-art with the same empirical privacy guarantee.

研究动机与目标

• 解决现有差分隐私文本生成机制中的经验隐私风险问题，即微小噪声会导致原始词的重建概率过高。
• 开发一种可调节的机制，以优化度量差分隐私（metric-DP）文本生成中的隐私与效用权衡。
• 提供一个统一的经验基准，用于比较不同距离度量和机制之间的隐私-效用权衡。
• 将最近邻选择从第一近邻推广至k ≥ 2个最近邻，采用受Vickrey拍卖启发的概率框架。
• 在真实世界文本分类数据集上实证验证该方法，并证明其在性能上优于现有最先进方法。

提出的方法

• 提出一类新型差分隐私机制，称为Vickrey机制，通过参数化噪声词嵌入的k个最近邻中输出词的选择过程。
• 引入调节参数，平衡第一近邻与第二近邻之间的选择，灵感源自二价拍卖机制——仅披露第二高投标。
• 在k个最近邻上应用概率分布，选择概率与到噪声嵌入的距离成反比，调节参数通过约束优化进行优化。
• 采用度量差分隐私（metric-DP）框架，其中隐私通过预训练嵌入空间（如GloVe、FastText）中词嵌入之间的距离进行校准。
• 提出广义Vickrey机制，将选择扩展至k ≥ 2个最近邻，输出概率与逆距离的指数函数及调节参数成正比。
• 通过重建风险作为隐私度量、效用损失作为效用度量，实证评估隐私-效用权衡，并在固定效用容差下优化调节参数。

实验结果

研究问题

• RQ1 能否通过超越第一近邻选择的机制，实现差分隐私文本生成在提升效用的同时维持强经验隐私保障？
• RQ2 与第一近邻相比，选择第二近邻如何影响文本生成中的经验隐私-效用权衡？
• RQ3 在多个最近邻上采用概率选择机制，能在多大程度上提升隐私而不降低效用？
• RQ4 不同距离度量（如GloVe与FastText）对所提机制在隐私与效用方面的性能有何影响？
• RQ5 能否建立一个统一的经验基准，用于比较不同度量差分隐私机制在使用不同距离度量时的隐私-效用权衡？

主要发现

• 所提出的Vickrey机制在真实文本分类数据集上，与最先进方法保持相同的经验隐私保障时，效用最高提升50%。
• 与第一近邻机制相比，第二近邻选择显著降低了重建风险，尤其在噪声幅度较小时更为明显。
• 将选择扩展至第三近邻仅带来边际改善，而第四和第五近邻在效用或隐私方面均无显著提升。
• 该方法在不同嵌入模型上表现出鲁棒性，FastText因词间距离更小，展现出更优的隐私-效用权衡。
• 经验隐私度量——重建风险——有效捕捉了理论DP参数无法完全反映的真实世界隐私风险。
• 约束优化框架成功识别出最优调节参数，在保持效用损失在预设容差范围内的前提下最大化隐私保障。