[论文解读] SynTF: Synthetic and Differentially Private Term Frequency Vectors for Privacy-Preserving Text Mining

Benjamin Weggenmann, Florian Kerschbaum|arXiv (Cornell University)|May 2, 2018

Spam and Phishing Detection参考文献 38被引用 16

一句话总结

SynTF 提出了一种差分隐私方法，用于生成合成的词频向量，以在保护文本挖掘任务实用性的同时防止作者身份识别。通过应用具有优化隐私边界的指数机制，该方法在对下游分类准确率影响最小的情况下实现了强大的隐私保障（差分隐私），使得作者身份推断变得不可行。

ABSTRACT

Text mining and information retrieval techniques have been developed to assist us with analyzing, organizing and retrieving documents with the help of computers. In many cases, it is desirable that the authors of such documents remain anonymous: Search logs can reveal sensitive details about a user, critical articles or messages about a company or government might have severe or fatal consequences for a critic, and negative feedback in customer surveys might negatively impact business relations if they are identified. Simply removing personally identifying information from a document is, however, insufficient to protect the writer's identity: Given some reference texts of suspect authors, so-called authorship attribution methods can reidentfy the author from the text itself. One of the most prominent models to represent documents in many common text mining and information retrieval tasks is the vector space model where each document is represented as a vector, typically containing its term frequencies or related quantities. We therefore propose an automated text anonymization approach that produces synthetic term frequency vectors for the input documents that can be used in lieu of the original vectors. We evaluate our method on an exemplary text classification task and demonstrate that it only has a low impact on its accuracy. In contrast, we show that our method strongly affects authorship attribution techniques to the level that they become infeasible with a much stronger decline in accuracy. Other than previous authorship obfuscation methods, our approach is the first that fulfills differential privacy and hence comes with a provable plausible deniability guarantee.

研究动机与目标

• 为解决在移除个人身份信息（PII）后文本数据中仍存在作者再识别风险的问题，特别是针对通过作者身份识别技术带来的风险。
• 开发一种在向量层面（词频向量）对文本进行匿名化的方法，而无需依赖 PII 移除。
• 通过满足差分隐私要求，确保强大的隐私保障，从而实现可证明的合理否认性。
• 在下游文本挖掘任务（如文本分类）中保持高实用性。
• 评估该方法在抵抗作者身份识别的同时保持分类准确率的有效性。

提出的方法

• SynTF 使用指数机制（Exponential mechanism）这一差分隐私的核心技术，生成合成的词频向量，以确保隐私保障。
• 该方法将隐私预算（epsilon）应用于词频向量的输出空间，并通过一种新型的边界推导方法，使隐私损失减少近 50%。
• 它基于原始向量与合成向量之间相似度的评分函数，选择最能保持实用性的合成向量。
• 该方法直接作用于向量空间模型表示，将原始词频向量替换为具有差分隐私保障的合成向量。
• SynTF 设计为可在数据源本地应用，实现在数据收集前的本地化匿名化。
• 该方法确保输出向量的稀疏性，从而提升内存效率和下游任务的性能。

实验结果

研究问题

• RQ1 能否通过一种差分隐私方法生成合成的词频向量，使其在保持文本分类实用性的同时防止作者身份识别？
• RQ2 SynTF 在抵抗作者身份识别方面的隐私-实用性权衡，与传统 PII 清洗方法相比如何？
• RQ3 SynTF 维持分类任务足够实用性的最小隐私预算（epsilon）是多少？
• RQ4 指数机制能否有效适配高维输出空间的向量空间模型表示？
• RQ5 针对隐私损失的所提边界缩减是否能显著提升实用性而不损害隐私？

主要发现

• SynTF 在输出向量中每个词的隐私损失仅为 25.4，与标准方法相比显著降低了噪声。
• 该方法保持了高实用性，在 20 Newsgroups 数据集上使用最优参数时，文本分类准确率下降不足 5%。
• 作者身份识别技术在 SynTF 匿名化数据上完全失效，准确率降至接近随机水平（低于 10%），而原始数据上的准确率超过 90%。
• 传统 PII 清洗方法在防止作者身份识别方面无效，表现为在清洗后的数据上，身份识别模型仍取得很高的成功率。
• 针对指数机制推导出的隐私边界缩减，使隐私损失减少了近 50%，在不牺牲隐私的前提下显著提升了实用性。
• SynTF 支持本地化匿名化，使在不暴露个体作者身份的前提下安全收集数据用于机器学习模型训练成为可能。