[论文解读] The Differentially Private Lottery Ticket Mechanism
该论文提出了差分隐私彩票机制（Differentially Private Lottery Ticket Mechanism, DPLTM），一种端到端的差分隐私训练框架，利用彩票理论假设通过自定义评分函数识别高质量、稀疏的子网络（即‘中奖票’）。DPLTM在隐私-效用权衡方面优于DPSGD，收敛速度更快，支持更早停止并减少隐私预算消耗，且在不同数据集、领域和模型架构之间展现出中奖票的可迁移性。
We propose the differentially private lottery ticket mechanism (DPLTM). An end-to-end differentially private training paradigm based on the lottery ticket hypothesis. Using "high-quality winners", selected via our custom score function, DPLTM significantly improves the privacy-utility trade-off over the state-of-the-art. We show that DPLTM converges faster, allowing for early stopping with reduced privacy budget consumption. We further show that the tickets from DPLTM are transferable across datasets, domains, and architectures. Our extensive evaluation on several public datasets provides evidence to our claims.
研究动机与目标
- 解决差分隐私深度学习中的隐私-效用权衡瓶颈，其中大模型尺寸会放大噪声，导致效用下降。
- 将彩票理论假设扩展至端到端的差分隐私训练，确保在票选和训练过程中均保持隐私保障。
- 开发一种自定义评分函数，以识别高效率、低参数的中奖票，从而改善隐私-效用平衡。
- 证明DPLTM生成的中奖票在不同数据集、领域和模型架构之间具有可迁移性，从而降低下游任务的隐私成本。
- 在严格隐私预算下（例如 ε = 0.2）实现多个数据集上的最先进性能，优于DPSGD。
提出的方法
- 阶段1：通过基于权重大小的剪枝方法，从一个随机初始化的大规模神经网络中生成彩票票。
- 阶段2：使用指数机制结合自定义评分函数选择中奖票，该评分函数优先考虑高效率和低参数量。
- 评分函数在模型性能与稀疏性之间实现平衡，确保所选票既准确又轻量化。
- 阶段3：使用差分隐私随机梯度下降（DPSGD）训练所选中奖票，包含梯度裁剪与噪声注入。
- 对所有阶段应用差分隐私保护：票的生成、选择与训练，确保端到端（ε, δ）-差分隐私。
- 利用指数机制的概率分布选择与效用成比例的票，确保选择过程中的隐私性。
实验结果
研究问题
- RQ1能否在保持隐私保障的前提下，将彩票理论假设扩展至端到端的差分隐私深度学习？
- RQ2与随机或启发式选择相比，通过自定义评分函数选择中奖票是否能改善隐私-效用权衡？
- RQ3DPLTM是否能实现比DPSGD更快的收敛速度，从而支持更早停止并减少隐私预算消耗？
- RQ4DPLTM生成的中奖票是否可在不同数据集、领域和模型架构之间实现可迁移性？
- RQ5在严格隐私预算下（例如 ε = 0.2），DPLTM相较于最先进DPSGD的表现如何？
主要发现
- 在所有五个评估数据集（MNIST、HAR、Fashion-MNIST、Kuzushiji-MNIST、ISOLET）上，DPLTM在所有隐私预算下均显著优于DPSGD。
- 在 ε = 0.2 时，DPLTM在MNIST上达到84%的准确率，而随机选择的票仅为79%，证明了评分函数的有效性。
- DPLTM收敛速度快于DPSGD，支持更早停止，同时在保持或提升效用的前提下减少隐私预算消耗。
- DPLTM生成的中奖票可在不同数据集和架构之间实现可迁移，从而实现在新任务上更低隐私成本的训练。
- 随着隐私限制趋紧（例如 ε = 0.2），DPLTM与DPSGD之间的性能差距进一步扩大，证实其隐私-效用权衡的优越性。
- 自定义评分函数能有效识别高效率、低参数的中奖票，这一点在持续优于随机选择的性能表现中得到验证。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。