[论文解读] One Model to Unite Them All: Personalized Federated Learning of Multi-Contrast MRI Synthesis

Onat Dalmaz, Muhammad Usama Mirza+6 more|arXiv (Cornell University)|Jul 13, 2022

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

该论文提出 pFLSynth，一种用于多对比度 MRI 合成的个性化联邦学习框架，解决了因不同机构间数据异质性导致的领域分布偏移问题。通过使用机构和对比度特定的潜在变量，以及仅对下游层进行部分模型聚合的自适应个性化模块，pFLSynth 在多机构 MRI 数据集上实现了优于先前联邦学习方法的泛化能力和性能表现。

ABSTRACT

Multi-institutional collaborations are key for learning generalizable MRI synthesis models that translate source- onto target-contrast images. To facilitate collaboration, federated learning (FL) adopts decentralized training and mitigates privacy concerns by avoiding sharing of imaging data. However, FL-trained synthesis models can be impaired by the inherent heterogeneity in the data distribution, with domain shifts evident when common or variable translation tasks are prescribed across sites. Here we introduce the first personalized FL method for MRI Synthesis (pFLSynth) to improve reliability against domain shifts. pFLSynth is based on an adversarial model that produces latents specific to individual sites and source-target contrasts, and leverages novel personalization blocks to adaptively tune the statistics and weighting of feature maps across the generator stages given latents. To further promote site specificity, partial model aggregation is employed over downstream layers of the generator while upstream layers are retained locally. As such, pFLSynth enables training of a unified synthesis model that can reliably generalize across multiple sites and translation tasks. Comprehensive experiments on multi-site datasets clearly demonstrate the enhanced performance of pFLSynth against prior federated methods in multi-contrast MRI synthesis.

研究动机与目标

• 解决因成像协议和硬件差异导致的多机构 MRI 合成中的数据异质性问题。
• 开发一种联邦学习框架，在保护隐私的同时实现在各机构间的可靠模型训练。
• 提升模型对隐式（协议/硬件）和显式（可变源-目标对比度）领域偏移的泛化能力。
• 使单一统一模型能够在不牺牲机构特定性能的前提下，执行多个机构间的多样化翻译任务。
• 通过部分网络聚合，在保持模型个性化的同时降低通信成本。

提出的方法

• 该方法采用基于 CycleGAN 的统一生成对抗网络，并引入机构和对比度特定的潜在码，以建模分布偏移。
• 个性化模块利用机构-对比度潜在变量，自适应地调节生成器各阶段的特征图统计量和权重。
• 仅对生成器的下游层应用部分模型聚合，而上游层保留在本地，以保留机构特定特征。
• 框架采用联邦平均（FedAvg）训练协议，结合本地模型更新与周期性全局聚合。
• 机构特定潜在变量通过本地映射网络学习，无需全局机构索引。
• 判别器在各机构之间不共享，从而增强隐私保护并减少通信开销。

实验结果

研究问题

• RQ1 单一统一模型能否在具有异质性数据分布的多个 MRI 机构间实现可靠的泛化？
• RQ2 个性化联邦学习如何在隐式和显式领域偏移下提升 MRI 合成性能？
• RQ3 部分模型聚合对联邦 MRI 合成中性能和通信效率的影响如何？
• RQ4 机构和对比度特定潜在变量能否在不共享数据的前提下有效捕捉局部分布偏移？
• RQ5 pFLSynth 在合成质量与通信效率方面与集中式方法及其他联邦基线相比表现如何？

主要发现

• pFLSynth 在多机构 MRI 合成任务上的性能与集中式基准模型相当。
• 在合成质量方面，pFLSynth 显著优于所有联邦基线方法（FedGAN、FedMRI、FedMM、FedMed、FedCycle），峰值信噪比（PSNR）达到 18.75。
• 每轮通信负载降低至 6.52 百万参数，显著低于 FedGAN（11.51M）和 FedCycle（9.99M）。
• 本地模型复杂度为 14.27 百万参数，表明其具有适合部署的高效模型规模。
• pFLSynth 在各机构间的激活图相似性更高（平均斯皮尔曼等级相关系数：0.85），表明特征一致性更优。
• 即使在引入延迟加入的机构时，该方法仍保持强劲性能，展现出良好的鲁棒性与可扩展性。