[论文解读] Privacy Distillation: Reducing Re-identification Risk of Multimodal Diffusion Models

Virginia Fernández, Pedro L. Sánchez+4 more|arXiv (Cornell University)|Jun 2, 2023

Machine Learning in Healthcare被引用 4

一句话总结

本文提出隐私蒸馏（Privacy Distillation），一种两阶段框架，该框架在真实医学影像上训练文本到图像的扩散模型，生成合成数据，利用再识别检测器过滤出可再识别的样本，并在过滤后的数据上微调第二个扩散模型。该方法将再识别风险降低了3倍（从4.24%降至1.34%），同时在分类任务上保持了较强的下游性能，证明了在不牺牲实用性的前提下实现了有效的隐私保护。

ABSTRACT

Knowledge distillation in neural networks refers to compressing a large model or dataset into a smaller version of itself. We introduce Privacy Distillation, a framework that allows a text-to-image generative model to teach another model without exposing it to identifiable data. Here, we are interested in the privacy issue faced by a data provider who wishes to share their data via a multimodal generative model. A question that immediately arises is ``How can a data provider ensure that the generative model is not leaking identifiable information about a patient?''. Our solution consists of (1) training a first diffusion model on real data (2) generating a synthetic dataset using this model and filtering it to exclude images with a re-identifiability risk (3) training a second diffusion model on the filtered synthetic data only. We showcase that datasets sampled from models trained with privacy distillation can effectively reduce re-identification risk whilst maintaining downstream performance.

研究动机与目标

• 解决在敏感医学影像数据上训练的多模态扩散模型中患者再识别的风险。
• 开发一种避免记忆可识别患者特征的隐私保护蒸馏框架。
• 评估过滤后的合成数据在分类等下游任务中是否保持实用性。
• 证明在生成后对合成数据进行过滤，可在无需从头重新训练模型的前提下降低再识别风险。
• 提供一种适用于现有生成模型的实用、事后审计方法。

提出的方法

• 使用文本提示在真实胸部X光图像上训练首个条件潜在扩散模型（LDM）。
• 利用首个LDM，基于真实训练提示生成大规模合成数据集。
• 应用再识别网络检测并过滤掉与真实患者相似的合成图像。
• 仅在过滤后的合成数据集上训练第二个LDM，以生成具有隐私保护特性的生成模型。
• 使用蒸馏后的模型生成40,000张合成图像用于下游评估。
• 通过再识别率评估隐私性，通过分类器AUC和图文对齐分数评估模型实用性。

Figure 1 : Privacy Distillation Pipeline.

实验结果

研究问题

• RQ1 两阶段蒸馏过程是否能有效降低在医学数据上训练的文本到图像扩散模型的再识别风险？
• RQ2 从零开始训练的模型与在真实数据上微调的模型在再识别风险上如何比较？
• RQ3 对合成数据进行过滤在多大程度上能保持分类和对齐任务中的下游任务性能？
• RQ4 对生成后的合成数据进行事后过滤能否作为现有生成模型的实用隐私审计机制？
• RQ5 在蒸馏生成流程中，隐私与模型实用性之间存在何种权衡？

主要发现

• 蒸馏模型的再识别风险降低至1.34%，相比原始合成模型的4.24%降低了3.17倍。
• 在蒸馏模型生成的合成数据上训练的分类器AUC达到0.810，与真实数据基线的0.863相当。
• 蒸馏模型的图文对齐分数（$s_{align}$）为0.611，略低于真实数据基线的0.698，但仍处于可接受范围。
• 过滤过程减少了对独特表型的记忆，这可能是性能轻微下降的原因，但显著提升了隐私性。
• 该方法可实现生成模型的安全共享，即使在无法重新训练的情况下，也不会暴露原始训练数据。
• 该方法可推广至其他成像模态和条件类型，前提是使用合适的再识别度量指标。

Figure 2 : Effect of varying threshold $\delta$ on the re-identification score $s_{re-id}$ .