[论文解读] Three Tools for Practical Differential Privacy

Koen Lennart van der Veen, Ruben Seggers+2 more|arXiv (Cornell University)|Dec 7, 2018

Privacy-Preserving Technologies in Data参考文献 6被引用 22

一句话总结

本文提出了三种实用工具，以简化差分隐私机器学习：(1) 使用随机噪声进行集中式合理性检查，以验证隐私参数；(2) 自适应剪裁边界，降低超参数调优负担；(3) 大批量训练并缩放初始学习率，以减少噪声并提升性能。主要贡献在于构建了一套稳健、低投入的工作流程，在保持强隐私保证的同时实现具有竞争力的模型准确率，使用自适应剪裁时测试准确率从61.6%提升至63.5%，在CIFAR-10上采用大批量训练时达到66.9%（ε=20）。

ABSTRACT

Differentially private learning on real-world data poses challenges for standard machine learning practice: privacy guarantees are difficult to interpret, hyperparameter tuning on private data reduces the privacy budget, and ad-hoc privacy attacks are often required to test model privacy. We introduce three tools to make differentially private machine learning more practical: (1) simple sanity checks which can be carried out in a centralized manner before training, (2) an adaptive clipping bound to reduce the effective number of tuneable privacy parameters, and (3) we show that large-batch training improves model performance.

研究动机与目标

• 解决在真实世界机器学习应用中解释和校准差分隐私参数ε和δ的挑战。
• 通过最小化在私有数据上多次训练模型的需求，减少超参数调优过程中的隐私预算消耗。
• 开发一种实用、自动化的差分隐私深度学习工作流程，最大限度减少人工调优并提升模型性能。
• 证明在固定隐私预算下，采用缩放学习率的大批量训练可减少噪声并维持模型准确率。
• 提出一种自适应剪裁方法，动态调整梯度范数，降低对人工网格搜索剪裁边界的依赖。

提出的方法

• 通过在随机噪声数据上训练模型进行集中式合理性检查；若发生记忆化现象（即训练准确率较高），则表明隐私参数不够严格。
• 实施自适应剪裁：对于每一层，按公式 $ C^{l}_{l^{2}t} = eta C^{l}_{t-1} $ 更新剪裁边界，其中 $ eta = 2 $，并使用一次随机噪声迭代的ℓ₂-范数均值进行初始化。
• 使用矩量会计（moments accountant）追踪隐私支出，确保训练过程中总ε和δ保持在预算范围内。
• 将学习率按批量大小成比例缩放（例如，当批量大小乘以 $ k $ 时，学习率也乘以 $ k $），以在大批量训练设置中保持训练稳定性。
• 使用集中式随机噪声数据集校准噪声尺度 $ ho $，直到合理性检查通过，然后将相同参数应用于私有数据训练。
• 采用自适应剪裁方法，使用默认值 $ eta = 2.0 $，$ eta = 2.0 $，和 $ ho = 0.725 $，从而降低对数据特定调优的依赖。

实验结果

研究问题

• RQ1 使用随机噪声数据的集中式合理性检查能否有效验证DP参数是否足够严格，以防止记忆化？
• RQ2 自适应剪裁在多大程度上减少了在不同模型和数据集上对剪裁边界进行人工超参数调优的需求？
• RQ3 在固定隐私预算下，采用缩放学习率的大批量训练对差分隐私学习中的模型性能有何影响？
• RQ4 是否可以使用一组统一的默认参数（如 $ eta = 2.0 $，$ ho = 0.725 $）在无需重新调优的情况下在多种数据集上实现良好性能？
• RQ5 结合自适应剪裁、大批量训练和合理性检查，是否能形成一种实用的、端到端的差分隐私模型训练工作流程，且隐私预算消耗最小？

主要发现

• 在随机噪声数据上训练的差分隐私模型显示近似零的训练准确率（≤1.5%），证实即使在高隐私支出（ε=20）下，DP也能有效防止记忆化。
• 在CIFAR-10上，测试准确率从恒定剪裁的61.6%提升至自适应剪裁的63.5%，证明了动态梯度剪裁在降低噪声影响方面的有效性。
• 采用缩放学习率的大批量训练在CIFAR-10上实现了66.9%的测试准确率（ε=20），显著优于相同批量大小但学习率未调整的基线模型（47.2%）。
• 自适应剪裁方法对 $ eta $ 和 $ ho_{l^2} $ 的变化具有鲁棒性，将任一参数加倍均能获得相似性能，表明其稳定性和泛化能力。
• 采用 $ eta = 2.0 $ 和 $ ho_{l^2} = 2.5 $ 的配置在MNIST、CIFAR-10和CIFAR-100上均保持一致性能，表明默认值可跨任务通用。
• 所提出的工作流程通过将调优阶段转移到非私有的、集中式的随机数据合理性检查，显著减少了在超参数调优过程中对敏感数据的暴露，从而降低了隐私预算消耗。