[论文解读] On Maximal Correlation, Mutual Information and Data Privacy

Shahab Asoodeh, Fady Alajaji+1 more|arXiv (Cornell University)|Oct 8, 2015

Privacy-Preserving Technologies in Data参考文献 16被引用 6

一句话总结

本文通过在隐私约束中用最大相关性替代互信息，重新定义了数据隐私，提出了一种新颖的率-隐私权衡函数。它在最大相关性隐私约束下建立了估计效用（MMSE）的下界，表明可达到的最小误差取决于敏感变量与发布数据之间最大相关性的大小。

ABSTRACT

The rate-privacy function is defined in \cite{Asoodeh} as a tradeoff between privacy and utility in a distributed private data system in which both privacy and utility are measured using mutual information. Here, we use maximal correlation in lieu of mutual information in the privacy constraint. We first obtain some general properties and bounds for maximal correlation and then modify the rate-privacy function to account for the privacy-constrained estimation problem. We find a bound for the utility in this problem when the maximal correlation privacy is set to some threshold $ε>0$ and construct an explicit privacy scheme which achieves this bound.

研究动机与目标

• 通过引入最大相关性作为更稳健的替代方案，解决互信息作为隐私度量的局限性。
• 在隐私约束中使用最大相关性替代互信息，重新表述率-隐私权衡问题。
• 推导当敏感数据X与发布数据Z之间的最大相关性被ε限制时，可实现效用（以MMSE表示）的下界。
• 构建一种显式的隐私保护机制（即噪声变换），在最大相关性约束下实现所推导的效用边界。

提出的方法

• 将最大相关性 ρₘ(X;Z) 定义为所有均值为零、平方可积的X和Z函数之间线性相关性的上确界。
• 利用条件期望算子 T_X 将 ρₘ(X;Z) 表征为该算子的第二大奇异值。
• 提出一种隐私滤波器模型 Z = X + λN，其中N为与(X,Y)独立的α稳定分布，以满足 ρₘ(X;Z) ≤ ε。
• 推导出最优噪声增益 λ*ₜₕₑₜₐ = (1/ε² - 1)^{1/α}，该值可实现隐私阈值ε。
• 建立从Z估计Y的最小均方误差（MMSE）的下界：mmse_ε(Y) ≥ (1 - ϱ²_ε(X;Y)) · var(Y)，其中 ϱ_ε(X;Y) = ρₘ(Y; X + λ*ₜₕₑₜₐN)。
• 证明在指定信道模型下该边界是紧的，且当隐私要求更严格（ε更小时）时，效用会下降。

实验结果

研究问题

• RQ1 在隐私约束中用最大相关性替代互信息，对效用-隐私权衡有何影响？
• RQ2 当敏感数据X与发布数据Z之间的最大相关性被ε限制时，估计效用（MMSE）的根本下界是什么？
• RQ3 能否构造一种显式的隐私机制，在最大相关性约束下实现该下界？
• RQ4 最优噪声增益 λ*ₜₕₑₜₐ 如何依赖于隐私阈值ε和噪声分布的稳定性参数α？
• RQ5 在隐私约束下，Y与Z之间的最大相关性 ρₘ(Y;Z) 与Y的估计精度之间存在何种关系？

主要发现

• 本文推导出当 ρₘ(X;Z) ≤ ε 时，从Z估计Y的最小可实现MMSE的下界，表达式为 mmse_ε(Y) ≥ (1 - ϱ²_ε(X;Y)) · var(Y)。
• 在 Z = X + λN 信道模型下，且N为α稳定噪声时，该边界是紧的，其中 λ*ₜₕₑₜₐ = (1/ε² - 1)^{1/α} 可实现隐私约束。
• 函数 ϱ_ε(X;Y) = ρₘ(Y; X + λ*ₜₕₑₜₐN) 量化了在隐私约束下Y与Z之间可达到的最大相关性。
• 该边界仅在 ϱ_ε(X;Y) = 1 时为零，而这种情况仅在 ρₘ(X;Y) = 1 时发生，表明X与Y完全相关。
• 当 ρₘ(X;Y) < 1 时，该边界远离零，意味着在隐私约束下不可避免存在非平凡的估计误差。
• 效用边界关于ε是非增的，即更严格的隐私（ε更小）会导致更高的估计误差，体现了根本性的权衡关系。