[论文解读] Privacy-preserving patient clustering for personalized federated learning

Ahmed El‐Hussein, Gamze Gürsoy|PubMed|Jul 17, 2023

Privacy-Preserving Technologies in Data参考文献 38被引用 6

一句话总结

该论文提出PCBFL，一种隐私保护联邦学习框架，利用安全多方计算在不共享原始数据的前提下计算跨医院的患者级相似度得分，从而实现对患者进行临床有意义的聚类。与传统及现有聚类联邦学习方法相比，PCBFL在死亡率预测任务中AUC提升4.3%，AUPRC提升7.8%。

ABSTRACT

Federated Learning (FL) is a machine learning framework that enables multiple organizations to train a model without sharing their data with a central server. However, it experiences significant performance degradation if the data is non-identically independently distributed (non-IID). This is a problem in medical settings, where variations in the patient population contribute significantly to distribution differences across hospitals. Personalized FL addresses this issue by accounting for site-specific distribution differences. Clustered FL, a Personalized FL variant, was used to address this problem by clustering patients into groups across hospitals and training separate models on each group. However, privacy concerns remained as a challenge as the clustering process requires exchange of patient-level information. This was previously solved by forming clusters using aggregated data, which led to inaccurate groups and performance degradation. In this study, we propose Privacy-preserving Community-Based Federated machine Learning (PCBFL), a novel Clustered FL framework that can cluster patients using patient-level data while protecting privacy. PCBFL uses Secure Multiparty Computation, a cryptographic technique, to securely calculate patient-level similarity scores across hospitals. We then evaluate PCBFL by training a federated mortality prediction model using 20 sites from the eICU dataset. We compare the performance gain from PCBFL against traditional and existing Clustered FL frameworks. Our results show that PCBFL successfully forms clinically meaningful cohorts of low, medium, and high-risk patients. PCBFL outperforms traditional and existing Clustered FL frameworks with an average AUC improvement of 4.3% and AUPRC improvement of 7.8%.

研究动机与目标

• 解决因医疗机构间数据分布非独立同分布（non-i.i.d.）导致的联邦学习性能下降问题。
• 在不暴露个体层面数据的前提下，实现在联邦设置中的患者聚类，保护患者隐私。
• 开发一种安全且可扩展的方法，利用多所医院的患者级嵌入构建具有临床意义的患者队列。
• 通过基于相似性的患者分组，在保持数据本地性的前提下提升个性化联邦学习的模型性能。
• 证明安全聚类可提升真实临床数据集（如eICU）中下游预测任务的性能。

提出的方法

• PCBFL使用安全多方计算（SMPC）在不暴露原始患者数据的前提下，计算跨医院患者之间的成对余弦相似度得分。
• 每家医院贡献加密的患者嵌入，SMPC使所有参与机构能够联合计算相似度得分。
• 采用秘密共享协议，确保在相似度计算过程中，任何单一机构都无法重建个体患者信息。
• 在聚合后的、具有隐私保护特性的相似度得分上应用聚类（如k-means），形成患者队列。
• 通过个性化联邦学习流程，基于FedAvg为每个聚类训练独立模型，从而在非独立同分布数据上提升性能。
• 该系统支持在20个eICU站点的大规模部署，且敏感信息泄露极低。

实验结果

研究问题

• RQ1 是否可以在联邦设置中实现患者聚类而不暴露个体患者数据？
• RQ2 隐私保护聚类是否能提升在非独立同分布医疗数据设置下的模型性能？
• RQ3 所形成的聚类是否具有临床意义，能反映患者的严重程度或风险特征？
• RQ4 PCBFL与传统联邦学习及现有聚类联邦学习框架相比，在预测性能上表现如何？
• RQ5 在多机构联邦设置中，安全聚类的通信与计算开销如何？

主要发现

• PCBFL在死亡率预测任务中，相较于传统联邦学习及现有聚类联邦学习框架，平均AUC提升4.3%，AUPRC提升7.8%。
• PCBFL形成的聚类具有临床意义，能够根据生命体征、诊断和用药等临床特征，将患者划分为低、中、高死亡率风险组。
• 各机构性能分析显示，PCBFL在每家医院均持续优于其他方法，提升了参与激励。
• 即使在20个多样化ICU站点中，PCBFL仍能成功形成无误差的准确聚类，证明了其可扩展性与鲁棒性。
• 该框架通过SMPC实现强隐私保障，避免了差分隐私方法中常见的性能下降问题。
• PCBFL支持无监督表型分析与风险分层，无需预设预测任务，表明其在死亡率预测之外具有更广泛的应用潜力。