[论文解读] Subspace Differential Privacy

Jie Gao, Ruobin Gong+1 more|arXiv (Cornell University)|Aug 26, 2021

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了子空间差分隐私（subspace differential privacy），一种将强制性数据不变量（如人口总数或时空约束）从一开始就整合进差分隐私机制的框架。通过将标准机制（如拉普拉斯或高斯分布）产生的噪声投影到不变量子空间上，该方法确保输出无偏、透明且无需事后处理，同时保持正式的隐私保障。

ABSTRACT

Many data applications have certain invariant constraints due to practical needs. Data curators who employ differential privacy need to respect such constraints on the sanitized data product as a primary utility requirement. Invariants challenge the formulation, implementation, and interpretation of privacy guarantees. We propose subspace differential privacy, to honestly characterize the dependence of the sanitized output on confidential aspects of the data. We discuss two design frameworks that convert well-known differentially private mechanisms, such as the Gaussian and the Laplace mechanisms, to subspace differentially private ones that respect the invariants specified by the curator. For linear queries, we discuss the design of near-optimal mechanisms that minimize the mean squared error. Subspace differentially private mechanisms rid the need for post-processing due to invariants, preserve transparency and statistical intelligibility of the output, and can be suitable for distributed implementation. We showcase the proposed mechanisms on the 2020 Census Disclosure Avoidance demonstration data, and a spatio-temporal dataset of mobile access point connections on a large university campus.

研究动机与目标

• 为解决在差分隐私数据发布中强制执行硬性不变量（如人口总数或求和约束）而不引入偏差的挑战。
• 消除对事后处理的需求，因为事后处理常导致结果失真并模糊隐私保障的解释。
• 开发在统计上透明、无偏且适合分布式部署的机制。
• 将差分隐私扩展至必须满足线性等式约束的场景，如列联表或时间序列汇总。
• 在真实世界数据集（包括2020年人口普查DAS数据和一所大学的WiFi时空数据集）上展示该框架的实用性和准确性。

提出的方法

• 提出一种新的隐私模型——子空间差分隐私，明确将线性等式不变量融入隐私机制设计。
• 设计两种通用框架：投影与扩展，用于将标准差分隐私机制（如拉普拉斯、高斯分布）转换为符合子空间差分隐私的机制。
• 对从无约束分布中抽取的噪声变量应用投影，确保最终输出位于不变量子空间内。
• 针对线性查询，推导出在子空间约束下最小化均方误差的近似最优机制。
• 以投影拉普拉斯和投影高斯机制为核心构建模块，具备隐私和无偏性的理论保障。
• 在设计阶段采用距离最小化，而非事后处理，从而避免数据依赖性偏差。

实验结果

研究问题

• RQ1 如何正式扩展差分隐私以尊重硬性不变量（如人口总数或求和约束）？
• RQ2 在噪声注入后强制执行不变量时，事后处理对偏差和隐私解释的影响是什么？
• RQ3 能否设计出在满足线性等式约束的同时保持无偏的差分隐私机制？
• RQ4 所提机制的误差规模与现有系统（如人口普查DAS）相比如何？
• RQ5 将不变量嵌入机制设计而非事后应用，其在统计和实现上的优势是什么？

主要发现

• 所提出的子空间差分隐私机制在理论上无偏，而2020年人口普查DAS中使用的TopDown算法则表现出系统性负偏差，即误差与真实人口规模呈负相关。
• 在2020年人口普查演示数据中，48个州级回归分析中有11个显示DAS误差与对数人口规模之间存在统计显著的负斜率，表明存在明显的偏差趋势。
• 在伊利诺伊州县层面应用所提出的投影拉普拉斯机制后，未发现此类偏差趋势，误差源自无偏的投影随机变量。
• 在时空WiFi数据集上，投影高斯机制实现元素级误差的中位标准差为0.88，90%分位数区间为0.86至0.91。
• 在超过50次重复实验中，机制保持了稳定的误差规模，并在无需事后处理的情况下维持了良好的统计可解释性。
• 该框架避免了事后处理可能引发的隐私泄露风险，因为不变量从机制设计之初即被内建。