[论文解读] Recent Advances of Differential Privacy in Centralized Deep Learning: A Systematic Survey

Lea Demelius, Roman Kern+1 more|arXiv (Cornell University)|Sep 28, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本篇系统性综述回顾了近期在差分隐私集中式深度学习（DP-DL）方面的进展，重点关注隐私-效用权衡、审计方法、超越成员推断和属性推断的威胁缓解、生成模型以及实际应用。该综述识别出2019–2023年间的若干关键研究趋势，指出开放性问题，并呼吁建立标准化基准、重复审计以及统一的分类体系，以推动可信且数学上安全的AI发展。

ABSTRACT

Differential Privacy has become a widely popular method for data protection in machine learning, especially since it allows formulating strict mathematical privacy guarantees. This survey provides an overview of the state-of-the-art of differentially private centralized deep learning, thorough analyses of recent advances and open problems, as well as a discussion of potential future developments in the field. Based on a systematic literature review, the following topics are addressed: auditing and evaluation methods for private models, improvements of privacy-utility trade-offs, protection against a broad range of threats and attacks, differentially private generative models, and emerging application domains.

研究动机与目标

• 提供2019–2023年间差分隐私集中式深度学习（DP-DL）最新进展的全面、系统性综述。
• 分析当前的研究趋势，包括模型评估、隐私-效用权衡以及对多样化隐私威胁的防护。
• 识别DP-DL中的开放性问题与未来研究方向，尤其关注合成数据生成与术语标准化问题。
• 区分集中式DP-DL与联邦学习及分布式学习，聚焦非凸、高维深度学习模型。
• 倡导改进基准测试、重复审计以及建立一致的分类体系，以解决隐私威胁定义中的模糊性问题。

提出的方法

• 使用Scopus数据库进行系统性文献回顾，采用预定义关键词组合：'differential privacy' 与 'neural network'、'deep learning' 或 'machine learning'，并排除标题或摘要中包含 'federated' 或 'distributed' 的条目。
• 应用严格的纳入/排除标准，筛选英文发表的期刊论文、会议论文、综述文章及图书章节，发表领域限于计算机科学或工程类期刊与会议录。
• 根据研究重点对132篇相关文献进行分类与分析，包括：审计/评估、隐私-效用权衡、超越成员/属性推断的威胁建模、生成模型以及应用领域。
• 评估DP-SGD及其变体中现有方法的隐私会计、噪声注入（如高斯分布、拉普拉斯分布）以及优化技术（如梯度裁剪、自适应学习率）的有效性。
• 评估模型架构、数据依赖性以及因果建模对隐私保障与模型效用的影响。
• 基于文献综合提出六项核心洞见，包括对真实数据集的需求、重复审计的必要性，以及通过攻击建模改进隐私边界。

实验结果

研究问题

• RQ1 自2019年以来，近期进展在多大程度上改善了差分隐私深度学习中的隐私-效用权衡？
• RQ2 在审计与评估差分隐私深度学习模型方面，当前的最佳实践与局限性是什么？
• RQ3 差分隐私在多大程度上能有效防范超越成员推断与属性推断攻击的威胁？
• RQ4 利用深度生成模型生成差分隐私合成数据面临哪些挑战与机遇？
• RQ5 如何对隐私研究中的术语与定义进行标准化，以解决文献中的矛盾？

主要发现

• 系统性文献回顾识别出2019–2023年间DP-DL的六大主要研究趋势：审计与评估、隐私-效用权衡、超越标准攻击的威胁建模、生成模型、特定应用部署以及术语标准化。
• 当前基准测试缺乏包含敏感特征的真实数据集，限制了DP-DL方法在真实世界条件下的评估能力。
• 重复审计对于确保持续的隐私保障至关重要，因为隐私泄露可能在训练过程中或特定攻击场景下显现。
• 通过在隐私会计中引入额外的攻击假设与模型特定特性，可获得更现实的隐私损失上界。
• 结合表现最佳的方法（如自适应裁剪、噪声调度与优化改进）可显著提升隐私-效用权衡。
• 合成数据生成本身并非天然具备隐私保护特性；差分隐私生成模型需专门研究以确保端到端的隐私保障。