[论文解读] Vision Through the Veil: Differential Privacy in Federated Learning for Medical Image Classification

Kishore Babu Nampalle, Pradeep Singh+2 more|arXiv (Cornell University)|Jun 30, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

该论文提出了一种新颖的差分隐私联邦学习框架，用于医学图像分类，通过集成校准噪声注入和自适应隐私预算分配，在隐私保护与模型性能之间实现平衡。该框架在提供正式隐私保证的同时，实现了具有竞争力的准确率（F1得分84.64%），展示了在敏感医疗应用中实用性与保护性之间可行的权衡。

ABSTRACT

The proliferation of deep learning applications in healthcare calls for data aggregation across various institutions, a practice often associated with significant privacy concerns. This concern intensifies in medical image analysis, where privacy-preserving mechanisms are paramount due to the data being sensitive in nature. Federated learning, which enables cooperative model training without direct data exchange, presents a promising solution. Nevertheless, the inherent vulnerabilities of federated learning necessitate further privacy safeguards. This study addresses this need by integrating differential privacy, a leading privacy-preserving technique, into a federated learning framework for medical image classification. We introduce a novel differentially private federated learning model and meticulously examine its impacts on privacy preservation and model performance. Our research confirms the existence of a trade-off between model accuracy and privacy settings. However, we demonstrate that strategic calibration of the privacy budget in differential privacy can uphold robust image classification performance while providing substantial privacy protection.

研究动机与目标

• 为解决医学图像分析中的隐私风险，其中跨机构共享数据引发伦理和法律担忧。
• 缓解联邦学习中的漏洞，例如成员推断攻击和模型反演攻击，这些攻击可能暴露敏感患者数据。
• 将差分隐私整合到医学图像的联邦学习中，确保正式的数学隐私保障。
• 通过在训练轮次中战略性地校准隐私预算，优化模型效用与隐私之间的权衡。
• 在真实世界医学图像数据集上评估该框架的性能，特别是针对皮肤病变和脑肿瘤分类任务。

提出的方法

• 提出一种新颖的联邦学习框架，结合差分隐私，通过数学上严谨的机制向模型更新添加噪声，以确保正式的隐私保障。
• 提出一种基于差分隐私参数（ε, δ）的噪声校准策略，确保模型输出对任一数据点是否存在均不敏感。
• 采用自适应隐私预算分配策略，在早期训练轮次中分配更高的隐私预算，此时模型更新最具信息量，随后随时间逐步减少。
• 使用全局模型聚合过程，整合来自多个客户端的本地更新模型，同时保持数据本地性并最小化隐私泄露。
• 应用学习率衰减函数和模型架构微调，以在噪声注入的情况下维持性能。
• 在HAM10000和脑肿瘤数据集上使用标准深度学习模型（如ResNet类架构）进行图像分类，训练在三个客户端上进行。

Figure 1: Schematic representation of proposed framework (* represents the client who starts the learning process to take care of the overfitting issue).

实验结果

研究问题

• RQ1 差分隐私能否在不严重降低模型性能的前提下，有效集成到医学图像分类的联邦学习中？
• RQ2 隐私预算的自适应分配如何影响联邦医学图像学习中的隐私-效用权衡？
• RQ3 在非独立同分布的医学图像设置下，噪声注入对模型准确率和泛化能力有何影响？
• RQ4 在真实医疗环境中，该框架在多大程度上能有效防范成员推断攻击和模型反演攻击？
• RQ5 隐私预算ε的不同取值如何影响隐私保护与分类性能之间的平衡？

主要发现

• 所提出的差分隐私联邦学习框架在HAM10000数据集上实现了80.52%的F1得分，表明在隐私约束下仍具备具有竞争力的性能。
• 模型准确率从非私有的基线模型的90.68%下降至标准联邦学习的88.21%，在应用差分隐私后进一步下降至84.64%。
• 自适应隐私预算分配策略有效随时间减少隐私预算，在学习最敏感的初期阶段分配更多噪声，后期则减少以保护模型效用。
• 该框架通过正式的差分隐私机制成功维持了稳健的隐私保障，确保个体贡献得到充分保护。
• 隐私与效用之间的权衡是可量化的且可管理的，即使在严格的隐私预算下（例如ε ≈ 1–2），模型仍能实现可接受的性能。
• 结果证实，通过战略性地校准隐私预算，可在医学图像分类中实现高模型效用与强隐私保护之间的实际平衡。

Figure 2: Detailed model architecture: MobileNetV2 as base model with a custom top.