[论文解读] Privacy-Adaptive BERT for Natural Language Understanding

Chen Qu, Weize Kong+4 more|arXiv (Cornell University)|Apr 15, 2021

Privacy-Preserving Technologies in Data参考文献 33被引用 8

一句话总结

本文提出了一种隐私自适应的 BERT 预训练方法，以在本地差分隐私（dx-privacy）约束下提升 NLU 模型的性能，重点聚焦于输入文本和标记嵌入层面。结果表明，隐私自适应预训练能显著提升在隐私保护输入上的模型效用，并为最优隐私参数选择提供了实证指导。

ABSTRACT

When trying to apply the recent advance of Natural Language Understanding (NLU) technologies to real-world applications, privacy preservation imposes a crucial challenge, which, unfortunately, has not been well resolved. To address this issue, we study how to improve the effectiveness of NLU models under a Local Privacy setting, using BERT, a widely-used pretrained Language Model (LM), as an example. We systematically study the strengths and weaknesses of imposing dx-privacy, a relaxed variant of Local Differential Privacy, at different stages of language modeling: input text, token embeddings, and sequence representations. We then focus on the former two with privacy-constrained fine-tuning experiments to reveal the utility of BERT under local privacy constraints. More importantly, to the best of our knowledge, we are the first to propose privacy-adaptive LM pretraining methods and demonstrate that they can significantly improve model performance on privatized text input. We also interpret the level of privacy preservation and provide our guidance on privacy parameter selections.

研究动机与目标

• 为解决在真实世界 NLU 应用中，于本地隐私约束下保护用户隐私的挑战。
• 研究在 BERT 的不同阶段（输入文本、标记嵌入、序列表征）应用 dx-privacy 的影响。
• 开发并评估能够提升在隐私保护输入上模型性能的隐私自适应预训练方法。
• 为在隐私与效用之间实现最佳权衡，提供选择隐私参数（ε）的实证指导。

提出的方法

• 在 BERT 微调过程中，对输入文本和标记嵌入应用 dx-privacy，这是一种宽松形式的本地差分隐私。
• 通过在输入和嵌入层面使用 dx-privacy 对数据进行扰动，重新训练 BERT，提出隐私自适应预训练方法。
• 采用差分隐私机制向嵌入和输入中注入噪声，在保护隐私的同时维持模型效用。
• 在输入、嵌入和表征层面系统性地开展消融研究，以评估隐私-效用权衡。
• 使用下游 NLU 任务中的准确率和 F1 等效用指标，评估在不同隐私预算下的模型性能。
• 分析隐私参数（ε）与模型性能之间的关系，以推导出参数选择指南。

实验结果

研究问题

• RQ1 在 BERT 的不同阶段（输入、嵌入、表征）应用 dx-privacy 如何影响下游 NLU 性能？
• RQ2 与标准微调相比，隐私自适应预训练是否能提升在 dx-隐私化输入上的模型效用？
• RQ3 在 NLU 任务中，为实现隐私与模型效用之间的最佳平衡，最优隐私参数（ε）应如何选择？
• RQ4 不同 NLU 基准上，隐私保护程度与模型性能之间的相关性如何？

主要发现

• 在相同隐私预算下，与标准微调相比，隐私自适应预训练显著提升了在 dx-隐私化输入上的模型性能。
• 在输入和嵌入层面应用 dx-privacy 所获得的效用优于在序列表征层面应用。
• 研究识别出最优的隐私参数范围（ε），在确保强隐私保障的同时维持高模型效用。
• 实证结果表明，在预训练阶段使用 dx-隐私化数据微调 BERT，可使下游 NLU 任务的性能更加稳健。