[论文解读] Unlocking Accuracy and Fairness in Differentially Private Image Classification

Leonard Berrada, Soham De+7 more|arXiv (Cornell University)|Aug 21, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文表明，使用差分隐私随机梯度下降（DP-SGD）微调大规模预训练视觉模型，可在四个数据集（包括医学影像基准）上实现与非私有最先进模型相差几个百分点的准确率，同时通过展示与非私有模型相比，不同人口子群体之间的性能差异无显著增加，保持了公平性。

ABSTRACT

Privacy-preserving machine learning aims to train models on private data without leaking sensitive information. Differential privacy (DP) is considered the gold standard framework for privacy-preserving training, as it provides formal privacy guarantees. However, compared to their non-private counterparts, models trained with DP often have significantly reduced accuracy. Private classifiers are also believed to exhibit larger performance disparities across subpopulations, raising fairness concerns. The poor performance of classifiers trained with DP has prevented the widespread adoption of privacy preserving machine learning in industry. Here we show that pre-trained foundation models fine-tuned with DP can achieve similar accuracy to non-private classifiers, even in the presence of significant distribution shifts between pre-training data and downstream tasks. We achieve private accuracies within a few percent of the non-private state of the art across four datasets, including two medical imaging benchmarks. Furthermore, our private medical classifiers do not exhibit larger performance disparities across demographic groups than non-private models. This milestone to make DP training a practical and reliable technology has the potential to widely enable machine learning practitioners to train safely on sensitive datasets while protecting individuals' privacy.

研究动机与目标

• 解决在部署隐私保护机器学习时的主要障碍：与非私有模型相比，差分隐私（DP）模型存在显著的准确率下降。
• 研究DP训练是否会加剧在子人群中的性能差异，特别是在医疗等敏感应用中。
• 证明通过DP-SGD微调基础模型，可在分布偏移条件下同时实现高准确率与公平性。
• 提供实证证据表明，DP训练不会固有地恶化公平性，从而挑战隐私与公平性之间存在权衡的假设。

提出的方法

• 使用经过仔细调优的噪声尺度和裁剪策略，在下游图像分类任务中使用DP-SGD微调大规模预训练视觉模型（如ViT、ResNet）。
• 采用两阶段训练协议：首先在大规模通用数据集（如ImageNet-1K）上预训练，然后在下游数据集（如CIFAR-10、CheXpert、MIMIC-CXR）上在DP约束下进行微调。
• 通过梯度裁剪和添加高斯噪声实现经验风险最小化以强制执行差分隐私，使用矩量会计法进行隐私会计计算。
• 使用AUC差异度量评估不同人口子群体（如性别、年龄范围）的模型性能，以评估公平性。
• 系统性地改变隐私预算ε（如ε = 1, 4, 8），以研究其对准确率和类别级性能排序的影响。
• 对数据不平衡问题进行消融研究，包括对特定类别（如CIFAR-10中的汽车类）进行欠采样，以隔离不平衡与DP对公平性影响的效应。

实验结果

研究问题

• RQ1 差分隐私微调基础模型是否能在图像分类任务（包括医学影像）上实现接近非私有最先进模型的准确率？
• RQ2 与非私有模型相比，差分隐私训练是否会导致不同人口子群体之间性能差异的增加？
• RQ3 在不同隐私预算ε下，类别的相对难度如何变化，这是否会影响公平性度量？
• RQ4 数据不平衡在多大程度上与DP训练相互作用，从而影响私有模型的公平性结果？
• RQ5 通过视觉模型的架构和训练选择，能否缓解隐私与公平性之间的权衡？

主要发现

• 使用DP-SGD微调的私有模型在四个数据集（包括医学影像基准CheXpert和MIMIC-CXR）上的测试准确率，与非私有最先进模型相比仅相差2–4%。
• 在医学影像任务中，最准确的私有模型在不同人口群体（如性别、年龄）之间的AUC差异与非私有模型相当，表明公平性未显著下降。
• 在ε = 8时，即使在预训练数据与下游数据之间存在显著分布偏移的情况下，私有模型的整体准确率仍与非私有模型相差几个百分点。
• 在DP-SGD下，类别准确率排序并非随ε单调变化：例如，在ε ≤ 4时，鹿类是表现最差的类别，但在ε ≥ 4时，狗类反而变得更差，表明隐私级别变化导致了相对示例难度的转变。
• 在高度不平衡的设置中（如CIFAR-10中汽车类仅占10%），私有模型在少数类上的表现更差，但这种效应并非DP-SGD固有，而取决于不平衡程度。
• 在少数类上的私有模型与非私有模型之间的差异并非普遍更差；在中等不平衡程度（25–50%）下，私有模型在相同整体准确率下可达到与非私有模型相当的类别准确率。