[论文解读] SoK: Let the Privacy Games Begin! A Unified Treatment of Data Inference Privacy in Machine Learning

Ahmed Salem, Giovanni Cherubin+6 more|arXiv (Cornell University)|Dec 21, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种统一的游戏化框架，以系统化地形式化机器学习中的数据推理隐私风险，将五类核心威胁——成员资格、属性、属性、差分隐私可区分性以及数据重建推理——形式化为概率游戏。该框架建立了这些风险之间的严格约化与分离关系，揭示了此前未知的关联，实现了对机器学习系统中隐私证明的更清晰推理、组合与机械化。

ABSTRACT

Deploying machine learning models in production may allow adversaries to infer sensitive information about training data. There is a vast literature analyzing different types of inference risks, ranging from membership inference to reconstruction attacks. Inspired by the success of games (i.e., probabilistic experiments) to study security properties in cryptography, some authors describe privacy inference risks in machine learning using a similar game-based style. However, adversary capabilities and goals are often stated in subtly different ways from one presentation to the other, which makes it hard to relate and compose results. In this paper, we present a game-based framework to systematize the body of knowledge on privacy inference risks in machine learning. We use this framework to (1) provide a unifying structure for definitions of inference risks, (2) formally establish known relations among definitions, and (3) to uncover hitherto unknown relations that would have been difficult to spot otherwise.

研究动机与目标

• 为解决机器学习隐私攻击文献中对手能力与目标定义不一致的问题。
• 将五种基本隐私推理风险——成员资格、属性、属性、差分隐私可区分性以及数据重建——形式化为具有清晰语义的游戏化定义。
• 使用定量约化概念，建立这些隐私风险之间的正式关系（约化与分离）。
• 通过结构化、基于代码的游戏框架，实现更清晰的推理、组合与隐私证明的机械化。
• 通过案例研究展示，复杂攻击场景可被分解为若干简单推理游戏的组合。

提出的方法

• 将基于游戏的隐私定义分解为核心组件：对手能力、数据集与挑战选择，以及成功度量。
• 将五类隐私风险中的每一项表示为涉及挑战者与对手通过预言机交互的概率游戏。
• 定义隐私属性之间的定量约化概念，以支持对蕴含关系或不可能性的正式证明。
• 使用具有形式语义的“游戏序列变换”来证明约化与分离，实现可机械化推理。
• 将框架应用于分析并分解文献中声称的成员资格推理变体，将其形式化为成员资格与属性推理游戏的组合。
• 通过将游戏建模为具有明确语义的 probabilistic programs，利用现有程序逻辑与验证工具（如 EasyCrypt）实现框架的可机械化。

实验结果

研究问题

• RQ1 我们如何统一机器学习中多样化且不一致的隐私推理攻击表述？
• RQ2 不同推理风险之间存在何种正式关系——一种风险的安全保证是否意味着另一种风险的安全？
• RQ3 我们能否正式建立一种隐私风险可约化为另一种风险的条件，或判断它们在根本上是独立的？
• RQ4 游戏化推理在多大程度上可用于分解与分析复杂攻击场景？
• RQ5 游戏化框架能否支持机器学习系统中隐私属性的机械化证明与形式化验证？

主要发现

• 本文建立了五类核心隐私推理风险之间的完整形式化约化与分离关系，揭示了成员资格推理安全可蕴含对属性与属性推理的安全，但无法蕴含对数据重建的安全。
• 证明了差分隐私可区分性严格弱于成员资格推理，即差分隐私不蕴含成员资格推理的抗性。
• 框架揭示了数据重建严格强于成员资格推理，因为存在对成员资格推理安全但对数据重建完全不安全的系统。
• 通过案例研究，本文表明此前被描述为成员资格推理变体的复杂攻击场景，可被正式分解为成员资格与属性推理游戏的组合。
• 作者证明了基于游戏的推理可实现结构化、可机械化证明，借助形式化程序变换，表明与 EasyCrypt 等工具的兼容性。
• 研究发现，连续概率分布（如在 DP-SGD 中）对现有机械化框架构成挑战，这些框架通常假设为离散概率空间。