[论文解读] No Free Lunch in "Privacy for Free: How does Dataset Condensation Help Privacy"

Nicholas Carlini, Vitaly Feldman+1 more|arXiv (Cornell University)|Sep 29, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文挑战了[DZL22]中关于数据集浓缩（DC）显著提升机器学习模型隐私性的主张。它表明，基线方法的实证评估存在缺陷——错误地在有偏样本子集上测量攻击成功率，导致错误报告了92.8%的攻击优势，而正确数值应为1.6%。作者证明，DC在统计上并未显著优于随机子采样，且其理论分析基于不切实际的假设，这些假设会平凡地推出差分隐私，从而使隐私主张无效。

ABSTRACT

New methods designed to preserve data privacy require careful scrutiny. Failure to preserve privacy is hard to detect, and yet can lead to catastrophic results when a system implementing a ``privacy-preserving'' method is attacked. A recent work selected for an Outstanding Paper Award at ICML 2022 (Dong et al., 2022) claims that dataset condensation (DC) significantly improves data privacy when training machine learning models. This claim is supported by theoretical analysis of a specific dataset condensation technique and an empirical evaluation of resistance to some existing membership inference attacks. In this note we examine the claims in the work of Dong et al. (2022) and describe major flaws in the empirical evaluation of the method and its theoretical analysis. These flaws imply that their work does not provide statistically significant evidence that DC improves the privacy of training ML models over a naive baseline. Moreover, previously published results show that DP-SGD, the standard approach to privacy preserving ML, simultaneously gives better accuracy and achieves a (provably) lower membership attack success rate.

研究动机与目标

• 批判性评估[DZL22]中关于数据集浓缩（DC）增强模型隐私性的实证与理论主张。
• 揭露[DZL22]中基线比较的方法论缺陷，特别是成员推理攻击（MIA）成功率的测量方式。
• 证明DC相对于朴素基线的报告隐私提升在统计上不显著，原因在于评估设置错误。
• 质疑[DZL22]中的理论隐私分析，表明其依赖于不切实际的假设，这些假设会平凡地推出差分隐私。
• 确立DP-SGD在准确率与可证明隐私方面均优于DC，是隐私-效用权衡中的更优选择。

提出的方法

• 使用正确协议重新评估基线方案上的成员推理攻击（MIA）：在完整数据集U上测量攻击成功率，而非有偏子集S ∪ S’。
• 通过确保成员基数为1%（与实际使用的训练数据比例一致），将基线攻击优势从92.8%更正为1.6%。
• 采用最坏情况对抗设定：在两个仅相差一个样本的数据集D和D’上训练模型，然后测试攻击者是否能将其区分开。
• 应用分布匹配（DM）技术，结合随机初始化与标准增强，评估成员推理的检测能力。
• 通过分析假设，特别是将模型输出建模为指数机制的假设4.8，审视[DZL22]中的理论隐私主张。
• 表明理论分析无实际意义，因为当使用随机子集或中心化数据初始化时，该变换在高维空间中退化为恒等变换。

实验结果

研究问题

• RQ1 数据集浓缩（DC）是否在统计上显著优于随机子采样基线？
• RQ2 [DZL22] 中基线的实证评估是否正确配置以测量成员推理攻击的成功率？
• RQ3 当应用DC时，成员推理攻击者能否区分在仅相差一个样本的数据集上训练的模型？
• RQ4 [DZL22] 中的理论隐私保证在现实假设下是否成立，特别是针对分布匹配（DM）方法？
• RQ5 DC与DP-SGD等成熟隐私保护方法相比，在隐私与效用方面表现如何？

主要发现

• [DZL22] 报告的基线攻击优势92.8%存在错误；正确数值应为1.6%，原因是使用了成员基数为50%的有偏子集S ∪ S’进行不公平评估。
• DM的实际攻击优势为1.06% ± 1.20%，与校正后的基线（1.6%）在统计上无显著差异，因此DC提升隐私的主张不成立。
• 在最坏情况设定下，攻击者可实现100%的检测准确率，以区分在仅相差一个样本的数据集上训练的模型，证明DM无法隐藏成员身份。
• [DZL22] 的理论分析依赖于假设4.8，该假设将模型输出建模为指数机制，平凡地推出差分隐私，使分析无实际信息量。
• 当使用随机子集或中心化数据初始化时，理论模型中的变换在高维空间中退化为恒等变换，意味着不存在有意义的泛化或隐私提升。
• DP-SGD在准确率与可证明的成员推理攻击成功率方面均优于DC，是隐私保护机器学习的更优选择。