[论文解读] When the signal is in the noise: Exploiting Diffix's Sticky Noise

Andrea Gadotti, Florimond Houssiau+3 more|arXiv (Cornell University)|Apr 18, 2018

Privacy-Preserving Technologies in Data被引用 9

一句话总结

本文表明，Diffix 是一种声称符合欧盟隐私标准的基于查询的匿名化系统，但其存在噪声利用攻击的漏洞。通过分析 Diffix 查询响应中依赖于数据的“粘性噪声”，作者提出了两种攻击——差分攻击与克隆攻击——仅需远少于以往认为可能的查询次数，即可实现高达 97.1% 的准确率，推断出私人属性，表明 Diffix 单独无法确保强大的匿名化。

ABSTRACT

Anonymized data is highly valuable to both businesses and researchers. A large body of research has however shown the strong limits of the de-identification release-and-forget model, where data is anonymized and shared. This has led to the development of privacy-preserving query-based systems. Based on the idea of "sticky noise", Diffix has been recently proposed as a novel query-based mechanism satisfying alone the EU Article~29 Working Party's definition of anonymization. According to its authors, Diffix adds less noise to answers than solutions based on differential privacy while allowing for an unlimited number of queries. This paper presents a new class of noise-exploitation attacks, exploiting the noise added by the system to infer private information about individuals in the dataset. Our first differential attack uses samples extracted from Diffix in a likelihood ratio test to discriminate between two probability distributions. We show that using this attack against a synthetic best-case dataset allows us to infer private information with 89.4% accuracy using only 5 attributes. Our second cloning attack uses dummy conditions that conditionally strongly affect the output of the query depending on the value of the private attribute. Using this attack on four real-world datasets, we show that we can infer private attributes of at least 93% of the users in the dataset with accuracy between 93.3% and 97.1%, issuing a median of 304 queries per user. We show how to optimize this attack, targeting 55.4% of the users and achieving 91.7% accuracy, using a maximum of only 32 queries per user. Our attacks demonstrate that adding data-dependent noise, as done by Diffix, is not sufficient to prevent inference of private attributes. We furthermore argue that Diffix alone fails to satisfy Art. 29 WP's definition of anonymization. [...]

研究动机与目标

• 调查 Diffix 中旨在防止重新识别的数据依赖性噪声机制是否可被利用以推断个人的私人属性。
• 在关于攻击者知识和查询访问权限的现实假设下，评估对 Diffix 实施噪声利用攻击的可行性。
• 评估 Diffix 在实践中是否满足欧盟第 29 条工作组对匿名化的定义。
• 提出纵深防御策略，以在不依赖差分隐私的前提下增强匿名化系统。

提出的方法

• 设计一种差分噪声利用攻击，通过在采样查询响应上使用似然比检验，基于辅助信息推断私人属性。
• 开发一种克隆攻击，通过在查询中注入虚拟条件来有条件地改变输出噪声，实现在不改变查询结果集的前提下推断私人属性。
• 使用贪心算法优化克隆攻击，以最小化每个目标用户的查询次数，同时最大化推断准确率。
• 在四个真实世界数据集（如移动性、健康、人口统计）和一个合成理想数据集上评估攻击，以衡量准确率和查询效率。
• 使用统计建模估计 Diffix 的粘性噪声分布，并据此校准攻击参数。
• 应用纵深防御原则，包括审计日志记录和输入验证，以缓解所识别的攻击向量。

实验结果

研究问题

• RQ1 Diffix 中的数据依赖性噪声是否可被利用以推断数据集中个人的私人属性？
• RQ2 当仅掌握目标的有限辅助信息时，推断攻击的准确率能达到多高？
• RQ3 使用噪声利用技术推断私人属性所需的最少查询次数是多少？
• RQ4 Diffix 的粘性噪声机制在实际实现中是否满足欧盟第 29 条工作组对匿名化的定义？
• RQ5 不依赖差分隐私，纵深防御策略是否能有效缓解噪声利用攻击？

主要发现

• 差分噪声利用攻击在仅使用五个辅助属性的合成理想数据集上，实现了 89.4% 的私人属性推断准确率。
• 克隆攻击在四个真实世界数据集中成功推断出至少 93% 用户的私人属性，准确率在 93.3% 至 97.1% 之间。
• 经优化的克隆攻击以最多 32 次查询/用户，成功推断出 55.4% 用户的私人属性，准确率达 91.7%，与先前方法相比显著降低了查询成本。
• 攻击表明，依赖于数据的噪声（如 Diffix 的粘性噪声）不足以防止对私人属性的推断。
• 由于易受噪声利用攻击的影响，Diffix 单独无法满足欧盟第 29 条工作组对匿名化的定义。
• 将不可证明的匿名化系统与纵深防御原则（如可审计性与输入验证）结合，可在不依赖差分隐私的前提下提升安全性。