[论文解读] Representation Disentanglement for Multi-modal MR Analysis.

Jiahong Ouyang, Ehsan Adeli+3 more|arXiv (Cornell University)|Feb 23, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 18被引用 6

一句话总结

该论文提出了一种基于边缘损失和条件卷积的框架，旨在显式解耦多模态磁共振成像中的解剖结构特征与模态特异性特征，实现了更优的特征解耦，并为下游任务（如零剂量PET重建和脑肿瘤分割）提供了鲁棒且模态无关的特征。

ABSTRACT

Multi-modal MRIs are widely used in neuroimaging applications since different MR sequences provide complementary information about brain structures. Recent works have suggested that multi-modal deep learning analysis can benefit from explicitly disentangling anatomical (shape) and modality (appearance) information into separate image presentations. In this work, we challenge mainstream strategies by showing that they do not naturally lead to representation disentanglement both in theory and in practice. To address this issue, we propose a margin loss that regularizes the similarity in relationships of the representations across subjects and modalities. To enable robust training, we further use a conditional convolution to design a single model for encoding images of all modalities. Lastly, we propose a fusion function to combine the disentangled anatomical representations as a set of modality-invariant features for downstream tasks. We evaluate the proposed method on three multi-modal neuroimaging datasets. Experiments show that our proposed method can achieve superior disentangled representations compared to existing disentanglement strategies. Results also indicate that the fused anatomical representation has potential in the downstream task of zero-dose PET reconstruction and brain tumor segmentation. The code is available at \url{this https URL}.

研究动机与目标

• 为解决现有解耦方法在多模态磁共振成像中的局限性，这些方法在理论上和实践中均未能实现真正的特征解耦。
• 开发一种训练鲁棒的框架，使用单一统一模型编码所有磁共振成像模态。
• 设计一种融合函数，将解耦的解剖结构特征整合为模态无关的特征表示，以支持下游任务。
• 在真实世界神经影像数据集上验证所提方法在临床相关应用中的有效性。

提出的方法

• 引入一种边缘损失，通过正则化不同受试者和模态之间的特征关系相似性，以强制实现特征解耦。
• 采用条件卷积神经网络，在单一模型内统一编码多种磁共振成像模态，提升训练稳定性和泛化能力。
• 设计一种融合函数，将解耦的解剖结构特征聚合为单一的、模态无关的特征表示。
• 将解耦的解剖结构特征作为输入，用于下游任务，如零剂量PET重建和脑肿瘤分割。
• 端到端训练模型，结合边缘损失，以同时优化特征解耦和下游任务性能。
• 利用学习到的模态无关特征，提升在模态特异性变化可能干扰学习的任务中的性能。

实验结果

研究问题

• RQ1 现有在多模态磁共振成像中的解耦策略是否能在理论和实践中真正实现特征解耦？
• RQ2 如何设计一种统一模型，有效编码多种磁共振成像模态，同时保持解耦的解剖结构与外观特征？
• RQ3 所提出的边缘损失是否能有效正则化受试者间和模态间的特征关系，从而改善解耦效果？
• RQ4 融合后的解剖结构特征能否作为鲁棒的、模态无关的特征，用于下游神经影像任务？
• RQ5 与基线方法相比，所提方法在零剂量PET重建和脑肿瘤分割任务中的性能提升程度如何？

主要发现

• 在三个多模态神经影像数据集上，所提方法在特征解耦方面优于现有解耦策略。
• 解耦的解剖结构特征显著提升了零剂量PET重建的性能，证明了模态无关特征的实用性。
• 融合后的解剖结构特征在多个数据集上的脑肿瘤分割任务中达到了最先进或具有竞争力的结果。
• 条件卷积设计实现了单一模型内稳定且高效的多模态编码，增强了训练鲁棒性。
• 边缘损失有效正则化了特征关系，使不同受试者和模态间的特征更加一致且解耦。
• 该方法在多种神经影像任务中表现出良好的泛化能力，显示出较强的临床部署潜力。