[论文解读] Multi-site Organ Segmentation with Federated Partial Supervision and Site Adaptation

Pengbo Liu, Mengke Sun+1 more|arXiv (Cornell University)|Feb 8, 2023

Medical Imaging and Analysis被引用 4

一句话总结

该论文提出了一种用于多中心器官分割的两阶段联邦学习框架，首先在部分监督下通过新颖的损失设计解决‘知识冲突’问题，在多个中心联合训练一个统一的多器官模型，然后通过微调对每个中心进行模型适配。该方法在保护数据隐私的前提下，实现了与集中训练模型相当的性能。

ABSTRACT

Objective and Impact Statement: Accurate organ segmentation is critical for many clinical applications at different clinical sites, which may have their specific application requirements that concern different organs. Introduction: However, learning high-quality, site-specific organ segmentation models is challenging as it often needs on-site curation of a large number of annotated images. Security concerns further complicate the matter. Methods: The paper aims to tackle these challenges via a two-phase aggregation-then-adaptation approach. The first phase of federated aggregation learns a single multi-organ segmentation model by leveraging the strength of 'bigger data', which are formed by (i) aggregating together datasets from multiple sites that with different organ labels to provide partial supervision, and (ii) conducting partially supervised learning without data breach. The second phase of site adaptation is to transfer the federated multi-organ segmentation model to site-specific organ segmentation models, one model per site, in order to further improve the performance of each site's organ segmentation task. Furthermore, improved marginal loss and exclusion loss functions are used to avoid 'knowledge conflict' problem in a partially supervision mechanism. Results and Conclusion: Extensive experiments on five organ segmentation datasets demonstrate the effectiveness of our multi-site approach, significantly outperforming the site-per-se learned models and achieving the performance comparable to the centrally learned models.

研究动机与目标

• 为解决在隐私和安全约束下，由于缺乏大规模标注数据而难以训练高质量、中心特异的器官分割模型的挑战。
• 在不共享原始医学影像的前提下，实现多个临床中心之间的协作模型训练，保护数据隐私。
• 解决在部分监督下多器官分割中因各中心器官标注不一致而产生的‘知识冲突’问题。
• 通过将全局训练的联邦模型适配到本地数据分布，提升中心特异的分割性能。
• 开发一种可扩展的、保护隐私的多器官分割框架，采用联邦学习与部分监督相结合的方法。

提出的方法

• 提出两阶段方法：(1) 联邦聚合来自多个中心的部分标注数据集，以训练统一的多器官分割模型；(2) 通过微调实现中心特异的模型适配，以提升各中心性能。
• 引入边缘损失（marginal loss）和排除损失（exclusion loss）函数，缓解部分监督学习中的‘知识冲突’问题，确保一个中心的前景对象不会干扰另一个中心的背景。
• 采用Dice、交叉熵、焦点损失、Top-K损失和Lovasz损失的组合——包括边缘和排除变体——以在部分监督下实现鲁棒训练。
• 使用联邦平均（FedAvg）进行模型聚合，其中客户端本地训练并将其更新权重发送至中心服务器以更新全局模型，确保数据始终保留在本地中心。
• 应用三种微调策略进行中心适配：全参数微调、编码器冻结和解码器冻结，以将全局模型适配到本地数据分布。
• 采用客户端-服务器联邦学习架构，结合模型平均，每个客户端根据验证性能选择其最佳本地模型。

Figure 1: CT images of different partially labeled datasets for different tasks at different clinical sites. The red, green, blue, yellow, and cyan color represent liver, spleen, pancreas, right kidney, and left kidney, respectively.

实验结果

研究问题

• RQ1 能否在部分标注数据下，有效跨多个临床中心训练单一多器官分割模型，同时避免知识冲突？
• RQ2 在数据标签和采集协议异质的机构之间训练共享分割模型时，如何保护数据隐私？
• RQ3 全局训练的联邦模型在多大程度上可被适配以提升特定中心的器官分割性能？
• RQ4 在多器官分割中，哪种微调策略（全参数、编码器冻结、解码器冻结）在中心适配中表现最佳？
• RQ5 所提出的损失设计是否能有效减少在多中心设置下因部分监督导致的性能下降？

主要发现

• 所提出的联邦多器官分割模型显著优于在各中心独立训练的模型，证明了协作学习的优势。
• 尽管数据从未共享且各中心仅部分标注，该模型仍实现了与集中训练模型相当的性能。
• 边缘损失与排除损失的组合有效缓解了部分监督下多器官分割中的‘知识冲突’问题。
• 通过微调进行的中心适配进一步提升了各中心的分割性能，其中编码器冻结或全参数微调策略效果最佳。
• 该方法在五个不同的器官分割数据集上均表现出强泛化能力，证实了其鲁棒性与可扩展性。
• 消融实验表明，边缘损失与排除损失均对性能提升有显著贡献，尤其在处理各中心标注不一致的问题时。

Figure 2: Visualization of the segmentation results of our proposed method and other SOTA methods.