[论文解读] On the Efficacy of Differentially Private Few-shot Image Classification

Marlon Tobaben, Aliaksandra Shysheya+6 more|arXiv (Cornell University)|Feb 2, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文研究了差分隐私（DP）少样本图像分类，提出对DP-SGD在不同每类样本数、隐私级别、模型架构及参数高效微调策略下的全面评估。结果表明，FiLM适配器在实现与全参数微调相当的DP性能的同时，显著提升了通信效率，在DP约束下于VTAB-1k基准上实现了最先进准确率（51.9%宏F1）。

ABSTRACT

There has been significant recent progress in training differentially private (DP) models which achieve accuracy that approaches the best non-private models. These DP models are typically pretrained on large public datasets and then fine-tuned on private downstream datasets that are relatively large and similar in distribution to the pretraining data. However, in many applications including personalization and federated learning, it is crucial to perform well (i) in the few-shot setting, as obtaining large amounts of labeled data may be problematic; and (ii) on datasets from a wide variety of domains for use in various specialist settings. To understand under which conditions few-shot DP can be effective, we perform an exhaustive set of experiments that reveals how the accuracy and vulnerability to attack of few-shot DP image classification models are affected as the number of shots per class, privacy level, model architecture, downstream dataset, and subset of learnable parameters in the model vary. We show that to achieve DP accuracy on par with non-private models, the shots per class must be increased as the privacy level increases. We also show that learning parameter-efficient FiLM adapters under DP is competitive with learning just the final classifier layer or learning all of the network parameters. Finally, we evaluate DP federated learning systems and establish state-of-the-art performance on the challenging FLAIR benchmark.

研究动机与目标

• 探究在低数据量和分布外设置下，差分隐私（DP）少样本图像分类在何种条件下有效。
• 评估在DP微调中隐私级别（ε）、每类样本数与模型准确率之间的权衡关系。
• 评估参数高效微调方法（如FiLM适配器、仅最后一层、全参数微调）在少样本设置下的DP有效性。
• 将研究结果扩展至联邦学习，评估在具有挑战性的FLAIR基准上的DP性能。
• 对DP-SGD在少样本设置下的隐私会计方法（RDP与PRV）进行系统性比较。

提出的方法

• 采用DP-SGD结合梯度裁剪与噪声注入，在(ε,δ)-差分隐私约束下进行训练，并使用RDP与PRV会计方法进行隐私会计。
• 通过广泛消融实验，改变每类样本数（1–500）、隐私预算（ε ∈ {1,2,4,8}）、下游数据集（CIFAR-10、CIFAR-100、SVHN、VTAB-1k）及模型架构（ResNet、ViT）。
• 评估三种微调策略：(1) 仅微调最终分类器层，(2) 微调所有模型参数，(3) 在中间层应用参数高效的FiLM适配器。
• 在集中式与联邦学习设置中采用相同的训练协议，对客户端与服务器学习率及自适应裁剪阈值进行超参数搜索。
• 使用VTAB-1k基准评估分布外迁移性能与联邦DP学习中的通信效率。
• 分别使用RDP与PRV会计方法重新计算隐私保证，以确保在不同δ值（如δ = 1e−5）下ε估计的鲁棒性与准确性。

Figure 1 : Classification accuracy as a function of shots and $\epsilon$ for CIFAR-10, CIFAR-100 and SVHN. Backbone is VIT-B and the best performing configuration out of All , FiLM and Head is used for each combination of $\epsilon$ and $S$ , with $\delta=1/|\mathcal{D}|$ . The accuracy is reported

实验结果

研究问题

• RQ1 在不同隐私预算（ε）下，每类样本数如何影响差分隐私少样本图像分类的准确率？
• RQ2 在少样本设置下，选择不同的微调策略（最后一层、全网络或FiLM适配器）如何影响DP准确率与通信效率？
• RQ3 从ImageNet到VTAB-1k的分布外迁移在多大程度上会降低DP模型性能？如何缓解这一问题？
• RQ4 在集中式DP训练中观察到的趋势是否能推广到联邦DP学习，特别是在隐私-准确率权衡方面？
• RQ5 不同的隐私会计方法（RDP与PRV）如何影响计算出的ε值，以及它们在不同实验间的可比性如何？

主要发现

• 为在DP下匹配非私有模型的准确率，随着隐私预算（ε）降低，每类样本数必须显著增加，体现出明显的数据-隐私权衡。
• 在VTAB-1k基准上，除最终分类器层外额外微调FiLM适配器，实现了DP下的最先进性能，宏F1达到51.9%，较之前SOTA的44.3%有显著提升。
• 在低样本和分布外设置下，DP下的FiLM适配器微调在准确率与通信效率方面均优于全参数微调与仅最后一层微调。
• DP模型的准确率与迁移学习任务的难度强相关，更复杂或分布外的数据集需要更多数据或更优的参数化以维持性能。
• 使用PRV会计方法计算的ε估计值略低于RDP，提升了隐私保证，同时保持了相近的模型性能。
• 在联邦学习中，所提出的DP-FedAvg设置在FLAIR基准上实现了最先进性能，证明了DP在客户端数据有限的真实去中心化场景中的可行性。