[论文解读] Privacy Measurement in Tabular Synthetic Data: State of the Art and Future Research Directions

Alexander Boudewijn, Andrea Filippo Ferraris+5 more|arXiv (Cornell University)|Nov 29, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文对表格型合成数据的隐私度量技术进行了全面综述，评估了现有方法在威胁模型、度量指标和攻击类型方面的表现。研究识别出标准化方面的关键空白，并提出一个框架，以指导研究人员选择适当的隐私评估方法，推动构建稳健、可审计的合成数据系统。

ABSTRACT

Synthetic data (SD) have garnered attention as a privacy enhancing technology. Unfortunately, there is no standard for quantifying their degree of privacy protection. In this paper, we discuss proposed quantification approaches. This contributes to the development of SD privacy standards; stimulates multi-disciplinary discussion; and helps SD researchers make informed modeling and evaluation decisions.

研究动机与目标

• 解决当前缺乏标准化、定量化的合成表格型数据隐私保护评估方法的问题。
• 系统化整理现有隐私度量方法，涵盖威胁模型、度量指标和攻击技术。
• 激发跨学科讨论，支持合成数据生成器在设计与评估方面的明智决策。
• 识别当前隐私评估框架中的研究空白，特别是在法律、技术和实证验证领域。
• 为未来合成数据生成与评估中的隐私标准发展奠定基础。

提出的方法

• 基于威胁模型（无框、黑盒、白盒、不确定框、带辅助信息）对29个现有隐私评估框架进行分类与评估。
• 将隐私度量指标分为三类：基于距离的（如欧几里得距离、汉明距离）、基于分布的（如柯尔莫哥洛夫-斯米尔诺夫检验、KLD）以及基于推断的（如成员身份推断、属性推断）。
• 将攻击技术与WP29定义的三种核心隐私风险（单独识别、关联性、推断）进行映射。
• 提出一种基于攻击的验证框架，用于评估合成数据，包括最近邻攻击、影子建模和成员身份推断攻击。
• 提出一种实际应用中指标的分类法，区分用于评估数据效用的指标与用于度量隐私泄露的指标。
• 分析监督学习度量指标（如AUC、F1、精确率-召回率）在成员身份推断和漏洞检测中作为隐私估计器的使用。

Figure 1 : Mode collapse: the real records (visualized in black) are varied, and represented in two regions of the plane (top-left; bottom-right). The generator only learns to replicate synthetic records (visualized in grey) in the top-left group: merely inferring their patterns is sufficient to dec

实验结果

研究问题

• RQ1 在合成表格型数据的实证隐私评估中，主流的威胁模型有哪些？
• RQ2 当前研究中最常使用的隐私度量指标和攻击技术是什么？它们如何与三种核心隐私风险（单独识别、关联性、推断）相匹配？
• RQ3 不同数据生成方法（如GANs、VAEs、基于种子的生成器）如何影响其对隐私攻击的敏感性？
• RQ4 现有框架在多大程度上整合了辅助信息？这如何影响隐私评估结果的有效性？
• RQ5 当前隐私度量实践中的主要空白是什么，特别是在法律、技术和标准化领域？

主要发现

• 目前尚无标准化、被广泛接受的方法用于量化合成表格型数据中的隐私保护水平，这构成了实际应用的主要障碍。
• 基于距离的度量指标（如欧几里得距离、汉明距离）和基于分布的比较方法（如KLD、KS检验）是最常使用的隐私评估技术。
• 成员身份推断攻击（MIA）和影子建模常被用于评估隐私泄露，尤其在黑盒和白盒威胁模型下。
• 基于种子的生成器存在更高的隐私风险，因为真实记录与合成记录之间存在一一对应关系，使其更容易遭受单独识别攻击。
• 在所调研的29个框架中，仅有11个明确使用了辅助信息，且大多数未通过对照基线验证结果，限制了其可靠性。
• 技术隐私度量指标与法律合规框架之间存在显著脱节，特别是在GDPR和匿名化标准方面。

Figure 2 : Visualization of an attack. Dotted lines indicate that the adversary may or may not leverage information sources, depending on the threat model: the adversary may use auxiliary information and/or information about the generative model (no, black, uncertain, or white box).