[论文解读] Obfuscation via Information Density Estimation

Hsiang Hsu, Shahab Asoodeh+1 more|arXiv (Cornell University)|Oct 17, 2019

Adversarial Robustness in Machine Learning参考文献 58被引用 6

一句话总结

本文提出了一种数据驱动框架，通过一种新颖的截断信息密度估计器（TIDE）实现信息密度估计，以识别并混淆信息泄露特征。该方法针对信息密度超过阈值的特征，应用特定于特征的高斯机制，通过 $\mathsf{E}_{\gamma}$-散度实现可证明的泄露控制，在图像和文本数据集上展现出强大的隐私-效用权衡，且用户定义的效用约束极少。

ABSTRACT

Identifying features that leak information about sensitive attributes is a key challenge in the design of information obfuscation mechanisms. In this paper, we propose a framework to identify information-leaking features via information density estimation. Here, features whose information densities exceed a pre-defined threshold are deemed information-leaking features. Once these features are identified, we sequentially pass them through a targeted obfuscation mechanism with a provable leakage guarantee in terms of $\mathsf{E}_γ$-divergence. The core of this mechanism relies on a data-driven estimate of the trimmed information density for which we propose a novel estimator, named the trimmed information density estimator (TIDE). We then use TIDE to implement our mechanism on three real-world datasets. Our approach can be used as a data-driven pipeline for designing obfuscation mechanisms targeting specific features.

研究动机与目标

• 开发一种系统化、数据驱动的方法，用于识别数据集中泄露敏感信息的特征。
• 通过测量敏感属性上先验与后验分布之间的 $\mathsf{E}_{\gamma}$-散度，为混淆提供可证明的隐私保证。
• 在样本有限的高维真实数据中，可靠估计截断信息密度，克服无界信息密度估计的挑战。
• 设计一种针对性的混淆机制，仅扰动高泄露特征，避免对低泄露特征引入不必要的噪声，从而保留数据效用。
• 通过识别并传达对数据所有者构成过度隐私风险的具体特征，实现可解释性。

提出的方法

• 该框架通过计算截断信息密度来识别信息泄露特征，定义为高于预设阈值的信息密度。
• 采用一种新颖的估计器 TIDE（截断信息密度估计器），基于 $f$-散度的变分表示，从有限样本中估计截断信息密度。
• 该方法使用基于神经网络的数据驱动架构实现 TIDE，通过对抗性优化进行训练，以保证估计的一致性和样本复杂度。
• 对识别出的泄露特征应用选择性混淆，采用依赖于特征的高斯机制，确保 $\mathsf{E}_{\gamma}$-散度有界，从而在最小化隐私泄露的同时保留数据效用。
• 在三个真实世界数据集上验证该方法：GENKI-4K（面部图像）、CelebA（名人属性）和政治倾向性推文，针对每种模态使用定制的神经网络架构。
• 该框架端到端运行，TIDE 与数据联合训练以估计信息密度，混淆机制在识别后应用，以减少泄露。

实验结果

研究问题

• RQ1 能否利用信息密度估计系统识别真实世界数据集中泄露敏感信息的特征？
• RQ2 如何从样本有限的高维数据中可靠估计截断信息密度？
• RQ3 一种仅针对高泄露特征的、数据驱动的混淆机制，能否在最小化对数据效用影响的前提下实现强隐私保证？
• RQ4 在样本受限条件下，所提出的 TIDE 估计器是否优于现有的插值法和核密度估计器？
• RQ5 $\mathsf{E}_{\gamma}$-散度能否作为量化实际混淆流程中隐私泄露的稳健且可解释的度量？

主要发现

• 在 GENKI-4K 数据集上，该方法实现了 $I(S,X) = 0.594$ 比特，显著低于熵 $H(S) = 1$ 比特，表明泄露有效减少。
• 在 CelebA 数据集上，互信息 $I(S,X)$ 达到 $0.967$ 比特，接近 $H(S) = 1$ 比特，表明对目标属性（是否微笑）高度敏感，该方法成功识别并混淆了这些特征。
• 在政治倾向性推文实验中，该方法估计出 $I(S;X) = 0.645$ 比特，显示出可测量的泄露，可针对性地进行混淆。
• 在合成高斯数据上，TIDE 的加权平均绝对误差（WMAE）为 0.005–0.057，显著优于插值估计器（0.466–1.821）和核密度估计器（0.252–1.395）。
• TIDE 估计器表现出强一致性和样本效率，即使仅使用 3,000 个样本，其 WMAE 也低于基线方法。
• 该框架通过识别对泄露贡献最大的具体特征（如面部区域、关键词）实现可解释的隐私保护，使数据所有者能够做出知情的混淆决策。