[论文解读] Practical Challenges in Differentially-Private Federated Survival Analysis of Medical Data

Shadi Rahimian, Raouf Kerkouche+2 more|arXiv (Cornell University)|Feb 8, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出 DPFed-post，一种后处理技术，可提升在小型医疗数据集上进行差分隐私联邦生存分析的收敛性和性能。通过裁剪噪声全局模型更新，相较于标准的差分隐私联邦学习，在医院数量有限、每家医院数据量有限的真实场景中，模型效用最高可提升17%。

ABSTRACT

Survival analysis or time-to-event analysis aims to model and predict the time it takes for an event of interest to happen in a population or an individual. In the medical context this event might be the time of dying, metastasis, recurrence of cancer, etc. Recently, the use of neural networks that are specifically designed for survival analysis has become more popular and an attractive alternative to more traditional methods. In this paper, we take advantage of the inherent properties of neural networks to federate the process of training of these models. This is crucial in the medical domain since data is scarce and collaboration of multiple health centers is essential to make a conclusive decision about the properties of a treatment or a disease. To ensure the privacy of the datasets, it is common to utilize differential privacy on top of federated learning. Differential privacy acts by introducing random noise to different stages of training, thus making it harder for an adversary to extract details about the data. However, in the realistic setting of small medical datasets and only a few data centers, this noise makes it harder for the models to converge. To address this problem, we propose DPFed-post which adds a post-processing stage to the private federated learning scheme. This extra step helps to regulate the magnitude of the noisy average parameter update and easier convergence of the model. For our experiments, we choose 3 real-world datasets in the realistic setting when each health center has only a few hundred records, and we show that DPFed-post successfully increases the performance of the models by an average of up to $17\%$ compared to the standard differentially private federated learning scheme.

研究动机与目标

• 解决在少数医疗机构的小型医疗数据集上训练生存模型时，差分隐私联邦学习收敛性差的问题。
• 评估在数据有限和隐私要求严格的现实约束下，联邦生存分析的实际可行性与性能表现。
• 通过引入一种稳定噪声全局更新的后处理步骤，提升客户端级差分隐私联邦学习中的模型效用。
• 在每家数据中心仅数百条记录的多个真实世界医疗数据集上，展示一致的性能提升。

提出的方法

• 提出 DPFed-post，一种后处理技术，在客户端级差分隐私联邦学习中，对聚合后的噪声全局模型更新进行幅度裁剪。
• 在客户端层面应用差分隐私，确保每家医院的完整数据集通过与客户端采样概率成比例的噪声注入得到保护。
• 使用裁剪作为正则化机制，控制学习率，并在差分隐私引入的高噪声环境下稳定训练过程。
• 将后处理步骤集成到标准联邦学习流程中，仅修改聚合后的全局模型更新步骤。
• 在三个真实世界医疗生存分析数据集上评估该方法，数据量有限（每家中心仅数百条记录），参与医院数量较少。

实验结果

研究问题

• RQ1 当数据稀缺且仅来自少数几家医疗机构时，客户端级差分隐私对联邦生存分析的收敛性和性能有何影响？
• RQ2 对噪声全局模型更新进行后处理是否能在不损害差分隐私保证的前提下提升模型效用？
• RQ3 DPFed-post 对不同真实世界医疗生存数据集（每家中心数据量有限）的模型性能有何影响？
• RQ4 所提出的方法如何减少性能差异，并在小样本联邦学习环境中提升稳定性？

主要发现

• 与标准差分隐私联邦学习相比，DPFed-post 在多个真实世界医疗数据集上平均提升模型性能17%。
• 该方法在不同生存模型和数据集上均一致地提升了模型效用，并降低了性能方差。
• 在聚合后对噪声全局更新进行裁剪，可稳定训练过程，即使在客户端级差分隐私引入高噪声的情况下也能实现收敛。
• 该方法在仅10家医院、每家中心500至1000条记录的真实场景中表现有效，而标准DPFL在此类场景下无法收敛。
• 后处理步骤作为一种隐式正则化形式，有效管理了在存在大范围DP噪声时的学习率。