[论文解读] Privacy-preserving Federated Bayesian Learning of a Generative Model for Imbalanced Classification of Clinical Data

Seok-Ju Hahn, Junghye Lee|arXiv (Cornell University)|Oct 18, 2019

Bayesian Methods and Mixture Models参考文献 95被引用 7

一句话总结

本文提出 Federated ABC-GMM，一种隐私保护的联邦贝叶斯学习框架，结合近似贝叶斯计算与高斯混合模型，用于在分布式医疗机构的不平衡临床数据集中对少数类进行过采样。通过在不共享原始数据的情况下估计模型参数的后验分布，该方法显著提升了 F1 分数，在 PhysioNet2012 ICU 死亡率预测数据集上接近理想性能。

ABSTRACT

In clinical research, the lack of events of interest often necessitates imbalanced learning. One approach to resolve this obstacle is data integration or sharing, but due to privacy concerns neither is practical. Therefore, there is an increasing demand for a platform on which an analysis can be performed in a federated environment while maintaining privacy. However, it is quite challenging to develop a federated learning algorithm that can address both privacy-preserving and class imbalanced issues. In this study, we introduce a federated generative model learning platform for generating samples in a data-distributed environment while preserving privacy. We specifically propose approximate Bayesian computation-based Gaussian Mixture Model called 'Federated ABC-GMM', which can oversample data in a minor class by estimating the posterior distribution of model parameters across institutions in a privacy-preserving manner. PhysioNet2012, a dataset for prediction of mortality of patients in an Intensive Care Unit (ICU), was used to verify the performance of the proposed method. Experimental results show that our method boosts classification performance in terms of F1 score up to nearly an ideal situation. It is believed that the proposed method can be a novel alternative to solving class imbalance problems.

研究动机与目标

• 解决临床数据中的类别不平衡问题，同时不损害患者隐私。
• 实现在多个医疗机构之间协作模型训练，而无需共享敏感的患者数据。
• 开发一种支持生成建模以实现少数类过采样的联邦学习框架。
• 通过使用近似贝叶斯计算进行安全的参数聚合，实现隐私保护。
• 通过生成合成数据，在不平衡临床数据集上提升分类性能。

提出的方法

• 提出 Federated ABC-GMM，一种结合近似贝叶斯计算（ABC）与高斯混合模型（GMMs）的联邦学习框架。
• 使用 ABC 在不传输原始数据的情况下估计各机构间 GMM 参数的后验分布。
• 使每个机构能够在其私有数据上训练本地 GMM，并仅交换用于参数推断的汇总统计量。
• 采用序列蒙特卡洛方法，以隐私保护的方式近似模型参数的后验分布。
• 从全局后验分布生成合成样本，以对不平衡数据集中的少数类进行过采样。
• 将生成的合成数据用于训练下游分类器，从而提升对罕见事件的性能。

实验结果

研究问题

• RQ1 联邦学习框架能否在保护患者隐私的同时有效解决临床数据中的类别不平衡问题？
• RQ2 通过联邦 ABC-GMM 训练的生成模型在不平衡临床数据集上的分类性能能提升到何种程度？
• RQ3 所提出的方法在多大程度上减少了医疗机器学习中对集中式数据共享的依赖？
• RQ4 Federated ABC-GMM 在真实世界临床数据上的性能与非联邦或非隐私保护基线方法相比如何？
• RQ5 该方法能否在不暴露原始患者数据的情况下实现接近理想的少数类预测 F1 分数？

主要发现

• 所提出的 Federated ABC-GMM 方法在 PhysioNet2012 ICU 死亡率预测数据集上显著提升了 F1 分数，接近理想性能。
• 该方法在不共享各机构原始临床数据的情况下，显著提升了少数类的分类性能。
• 使用近似贝叶斯计算实现了在分布式机构间的安全参数估计。
• 通过联邦 GMM 生成的合成样本能有效对罕见事件进行过采样，缓解类别不平衡问题。
• 该框架在保护数据隐私的同时，实现了多个医疗机构之间的协作模型学习。
• 实验结果表明，该方法在不平衡临床数据的 F1 分数上优于非联邦和非隐私保护方法。