[论文解读] Towards Quantifying the Carbon Emissions of Differentially Private Machine Learning

Rakshit Naidu, Harshita Diddee+4 more|arXiv (Cornell University)|Jul 14, 2021

Privacy-Preserving Technologies in Data参考文献 13被引用 12

一句话总结

本文通过测量在不同隐私预算（ε）下训练过程中产生的CO2排放量，量化了自然语言处理、计算机视觉和强化学习中不同ially private机器学习模型的碳排放。结果表明，更严格的隐私保护（ε值更低）显著增加了训练时间和碳足迹，模型的碳排放量最高可达非私有基线模型的15倍，凸显了隐私与环境成本之间的关键权衡。

ABSTRACT

In recent years, machine learning techniques utilizing large-scale datasets have achieved remarkable performance. Differential privacy, by means of adding noise, provides strong privacy guarantees for such learning algorithms. The cost of differential privacy is often a reduced model accuracy and a lowered convergence speed. This paper investigates the impact of differential privacy on learning algorithms in terms of their carbon footprint due to either longer run-times or failed experiments. Through extensive experiments, further guidance is provided on choosing the noise levels which can strike a balance between desired privacy levels and reduced carbon emissions.

研究动机与目标

• 量化差分隐私在机器学习中的环境影响，特别是其碳足迹。
• 分析不同隐私预算（ε）如何影响跨多种机器学习任务的训练时长和CO2排放。
• 识别在隐私保护训练中隐私强度、模型性能与计算资源使用之间的权衡。
• 为选择在隐私、准确率和碳排放之间取得平衡的噪声水平提供实证指导。
• 建立首个用于测量差分隐私机器学习模型碳排放的基准。

提出的方法

• 在三个领域（自然语言处理（BERT在新闻分类上的应用）、计算机视觉（MNIST和CIFAR-10使用MLP和ResNet18）、强化学习（CartPole使用DQN））中，通过在训练过程中向梯度添加高斯噪声，实现了DP-SGD。
• 将隐私预算ε设置为0.5、2、5、15和∞（非私有基线），测量训练时间和能耗。
• 跟踪各训练周期内的模型准确率、CO2排放量（单位：克）和能耗（单位：瓦时），以评估性能和环境成本。
• 采用固定的裁剪范数和噪声倍数，以隔离ε对训练动态和排放的影响。
• 基于能耗和区域电力构成，使用碳强度模型测量碳排放。
• 针对每个任务设定目标准确率阈值（T），以比较不同ε水平下的收敛行为和碳排放。

实验结果

研究问题

• RQ1 增加隐私预算（即降低ε）如何影响差分隐私机器学习模型的碳排放？
• RQ2 在不同水平的差分隐私下，模型收敛速度与CO2排放之间存在何种关系？
• RQ3 更严格的隐私要求（ε值更低）在多大程度上导致训练时间延长和能耗增加？
• RQ4 能否通过最优噪声水平选择，在隐私、模型准确率和碳排放之间实现平衡？
• RQ5 在多种机器学习任务中，差分隐私模型的碳足迹与非私有模型相比如何？

主要发现

• 更低的隐私预算（如ε = 0.5）导致显著更高的碳排放，最高可达非私有模型的15倍，主要由于训练时间大幅延长。
• 在MNIST上，达到70%准确率需消耗10.53克CO2（ε = 0.5），而ε = ∞（非私有）仅需0.08克，且随着ε增加，碳排放量下降。
• 在CIFAR-10上，CO2排放量从ε = 0.5时的15.34克降至ε = ∞时的0.36克；在ε = 0.5时，模型在30个周期内未能达到55%的准确率。
• 非私有基线（ε = ∞）的碳排放最低（0.38瓦时，0.08克CO2），而ε = 0.5的模型在CIFAR-10上能耗最高达70.216瓦时，CO2排放达15.34克。
• 在NLP（BERT）中，非私有模型以极低的碳排放达到目标准确率（52%），而DP变体需要更多训练周期，导致碳足迹显著增加。
• 结果表明，隐私强度（ε值越低）与环境成本之间存在明确的反比关系，更强的隐私保护导致更长的训练时间和更高的碳排放。