[论文解读] Using Neural Generative Models to Release Synthetic Twitter Corpora with Reduced Stylometric Identifiability of Users

Alexander G. Ororbia, Fridolin Linder+1 more|arXiv (Cornell University)|Jun 3, 2016

Authorship Attribution and Profiling被引用 3

一句话总结

本文提出一种神经生成模型，通过合成Twitter语料来降低风格化再识别风险，同时保留用户特定的词汇分布。通过针对个体用户进行条件控制并调节温度超参数，该方法在风险-效用权衡方面优于删减和迭代翻译，显著降低再识别风险，且效用损失最小。

ABSTRACT

We present a method for generating synthetic versions of Twitter data using neural generative models. The goal is protecting individuals in the source data from stylometric re-identification attacks while still releasing data that carries research value. Specifically, we generate tweet corpora that maintain user-level word distributions by augmenting the neural language models with user-specific components. We compare our approach to two standard text data protection methods: redaction and iterative translation. We evaluate the three methods on measures of risk and utility. We define risk following the stylometric models of re-identification, and we define utility based on two general word distribution measures and two common text analysis research tasks. We find that neural models are able to significantly lower risk over previous methods with little cost to utility. We also demonstrate that the neural models allow data providers to actively control the risk-utility trade-off through model tuning parameters. This work presents promising results for a new tool addressing the problem of privacy for free text and sharing social media data in a way that respects privacy and is ethically responsible.

研究动机与目标

• 为解决发布社交媒体数据时面临的伦理与隐私挑战，特别是在用户删除内容或要求被遗忘后的情况。
• 在不牺牲分析效用的前提下，降低共享Twitter语料中用户风格化再识别的风险。
• 开发一种灵活、数据驱动的方法，通过模型超参数实现隐私调节，区别于删减或翻译等粗粒度技术。
• 使用风险与效用指标，对标准隐私保护技术进行实证评估。

提出的方法

• 训练一种新型神经架构——Delta-RNN，以个体用户语言特征为条件生成合成推文，保留用户特定的词汇分布。
• 模型使用温度参数控制输出分布中的噪声水平，从而实现对风险-效用权衡的直接调节。
• 通过将用户嵌入向量引入循环网络架构，实现用户特定的条件控制，支持个性化生成。
• 采用基于字符的序列生成方式，使用在用户特定推文语料上训练的语言模型，确保语言保真度。
• 将该方法与删减和迭代翻译进行比较，以风格化再识别风险和词汇分布相似性作为关键评估指标。
• 系统性地调整温度超参数，评估其对风险（再识别准确率）和效用（分布相似性与任务性能）的影响。

实验结果

研究问题

• RQ1 神经生成模型能否在有效降低合成Twitter语料中风格化再识别风险的同时，保持用户层面的语言模式？
• RQ2 与传统方法（如删减和迭代翻译）相比，神经生成方法在风险-效用权衡方面表现如何？
• RQ3 温度超参数在多大程度上可用于主动调节隐私与数据效用之间的平衡？
• RQ4 神经模型在常见NLP任务中是否能保持原始数据的分布特性和任务特定效用？
• RQ5 该方法在面对多种风格化攻击模型和特征集时是否具备鲁棒性？

主要发现

• 神经模型显著降低了再识别风险——在最优温度设置下，风险低于10%，而删减方法的风险超过50%。
• Delta-RNN模型在所有评估指标上均优于删减和翻译，实现了最佳的风险-效用权衡。
• 较低的温度值通过抑制罕见的识别性词汇降低风险，但同时也因分布相似性下降而降低效用。
• 温度参数实现了对风险-效用权衡的精确控制，提供了一种删减或翻译中不存在的可调节隐私旋钮。
• 在情感分类和n-gram相似性任务中，即使在低温下，神经模型仍保持高效率用，性能下降微乎其微。
• 该模型在多种风格化攻击模型下表现稳健，验证了其在多样化再识别场景下的有效性。