[论文解读] You are your Metadata: Identification and Obfuscation of Social Media Users using Metadata Information

Beatrice Perez, Mirco Musolesi+1 more|arXiv (Cornell University)|Mar 27, 2018

Misinformation and Its Impacts被引用 5

一句话总结

本文表明，仅通过发布时段、设备类型和互动模式等元数据，即可利用监督式机器学习准确识别社交媒体用户身份。K-最近邻模型在10,000名用户中识别单个用户时准确率达96.7%，当考虑前10名候选用户时准确率上升至99.22%；即使60%的数据被扰动，混淆技术也未能显著降低此风险。

ABSTRACT

Metadata are associated to most of the information we produce in our daily interactions and communication in the digital world. Yet, surprisingly, metadata are often still catergorized as non-sensitive. Indeed, in the past, researchers and practitioners have mainly focused on the problem of the identification of a user from the content of a message. In this paper, we use Twitter as a case study to quantify the uniqueness of the association between metadata and user identity and to understand the effectiveness of potential obfuscation strategies. More specifically, we analyze atomic fields in the metadata and systematically combine them in an effort to classify new tweets as belonging to an account using different machine learning algorithms of increasing complexity. We demonstrate that through the application of a supervised learning algorithm, we are able to identify any user in a group of 10,000 with approximately 96.7% accuracy. Moreover, if we broaden the scope of our search and consider the 10 most likely candidates we increase the accuracy of the model to 99.22%. We also found that data obfuscation is hard and ineffective for this type of data: even after perturbing 60% of the training data, it is still possible to classify users with an accuracy higher than 95%. These results have strong implications in terms of the design of metadata obfuscation strategies, for example for data set release, not only for Twitter, but, more generally, for most social media platforms.

研究动机与目标

• 探究仅凭元数据是否能够唯一识别社交媒体用户。
• 评估机器学习模型基于元数据特征对用户进行分类的有效性。
• 评估用户识别对数据混淆策略的抗性程度。
• 突出发布元数据至开放数据集所伴随的隐私风险。
• 提供一种可适用于Twitter以外各类社交媒体平台的框架。

提出的方法

• 本研究使用包含500万Twitter用户的语料库，提取并分析诸如发布时段、设备类型和互动频率等原子化元数据字段。
• 训练多种机器学习模型（多项式逻辑回归、随机森林和K-最近邻）以基于其元数据模式对用户进行分类。
• 系统性评估特征组合，以确定哪些元数据组合能产生最高的识别准确率。
• 由于K-最近邻分类器在从大规模用户群体中识别用户方面表现更优，故被选为主要模型。
• 通过扰动60%的训练数据（模拟匿名化处理）来测试混淆效果，并衡量识别准确率的持续性。
• 在干净数据和混淆数据两种设置下评估该方法，以评估隐私泄露风险。

实验结果

研究问题

• RQ1 仅凭元数据（无需访问消息内容）是否能准确推断用户身份？
• RQ2 不同机器学习模型在基于元数据识别用户方面的表现有何差异？
• RQ3 数据混淆在多大程度上可降低通过元数据实现用户重新识别的风险？
• RQ4 哪些元数据特征或组合对用户识别最具信息量？
• RQ5 当考虑前N名候选用户而非单一匹配时，识别准确率如何变化？

主要发现

• K-最近邻模型仅使用元数据，即可在10,000名用户中实现96.7%的单个用户识别准确率。
• 当考虑前10名候选用户时，识别准确率提升至99.22%。
• 即使对60%的训练数据进行混淆扰动，分类准确率仍保持在95%以上，表明混淆技术基本无效。
• 发布时段、设备类型和互动频率等元数据字段的组合可形成高度独特的用户行为特征。
• 仅凭元数据即可实现高精度用户识别，挑战了“元数据无敏感性”的既有假设。
• 研究结果表明，元数据在数据发布时应受到与原始内容同等的隐私保护措施。