[论文解读] Multi-Task Generative Adversarial Network for Handling Imbalanced Clinical Data

Mina Rezaei, Haojin Yang+1 more|arXiv (Cornell University)|Nov 22, 2018

AI in cancer detection参考文献 16被引用 11

一句话总结

本文提出一种多任务生成对抗网络（GAN），联合执行医学图像语义分割与疾病分类，以解决临床数据中的类别不平衡问题。通过将选择性加权损失与条件 GAN 框架相结合——其中生成器输出分割与分类结果，判别器区分真实与生成输出——该模型在 ACDC-2017 上达到最先进性能，在 BraTS-2017 上取得具有竞争力的结果，其中胶质瘤分类准确率达 98.61%，心脏分割准确率达 94%。

ABSTRACT

We propose a new generative adversarial architecture to mitigate imbalance data problem for the task of medical image semantic segmentation where the majority of pixels belong to a healthy region and few belong to lesion or non-health region. A model trained with imbalanced data tends to bias towards healthy data which is not desired in clinical applications. We design a new conditional GAN with two components: a generative model and a discriminative model to mitigate imbalanced data problem through selective weighted loss. While the generator is trained on sequential magnetic resonance images (MRI) to learn semantic segmentation and disease classification, the discriminator classifies whether a generated output is real or fake. The proposed architecture achieved state-of-the-art results on ACDC-2017 for cardiac segmentation and diseases classification. We have achieved competitive results on BraTS-2017 for brain tumor segmentation and brain diseases classification.

研究动机与目标

• 为解决医学图像分割中健康组织远多于病灶区域的类别不平衡问题。
• 通过减轻训练过程中对多数类（健康组织）的偏见，提升模型对少数类（异常组织）的敏感性。
• 开发一种统一的深度学习框架，联合执行器官与异常组织的语义分割及疾病分类。
• 利用多任务学习通过共享特征表示，提升分割与分类任务的性能。
• 在真实世界临床基准（包括 ACDC-2017 与 BraTS-2017）上，依据标准评估协议对方法进行评估。

提出的方法

• 所提出的架构采用条件 GAN，其生成器将 2D 多模态 MRI 序列映射为语义分割图与疾病分类输出。
• 判别器通过基于块的对抗性损失，评估生成器输出是否为真实（真实标签）或伪造（生成结果）。
• 对分割任务应用选择性加权的分类交叉熵损失，其中类别权重与类别频率成反比，并通过平方根归一化以避免极端值。
• 为疾病分类任务额外引入加权 ℓ1 损失，以应对类别不平衡问题。
• 在生成器与判别器中均引入双向 LSTM，以建模 MRI 切片序列中的时序依赖性。
• 整体损失函数结合对抗性损失、分割损失与分类损失，实现多任务网络的端到端训练。

实验结果

研究问题

• RQ1 多任务 GAN 架构是否能在不依赖数据层面重采样的前提下，有效缓解医学图像分割中的类别不平衡问题？
• RQ2 选择性加权损失的引入如何提升语义分割中对少数类（病灶）的敏感性？
• RQ3 与单任务模型相比，分割与疾病分类的联合学习在多大程度上能提升两个任务的性能？
• RQ4 使用条件 GAN 与对抗性训练是否能提升临床影像中分割输出的真实感与准确性？
• RQ5 所提出方法在 ACDC-2017 与 BraTS-2017 等标准基准测试中，与最先进模型相比表现如何？

主要发现

• 该方法在 BraTS-2017 上对高级别与低级别胶质瘤的分类准确率达到 98.61%，优于先前的级联架构。
• 在 ACDC-2017 上，左心室 Dice 分数为 0.95，右心室为 0.93，心肌为 0.92，相应 Hausdorff 距离分别为 8.11、8.17 和 8.38 mm。
• 在心脏分割任务中，模型在收缩末期与舒张末期相均达到 94% 的准确率，优于 ACDC 基准测试中的多个顶尖方法。
• 选择性加权损失的使用显著提升了对少数类的敏感性，BraTS-2017 中全肿瘤区域敏感度达 87%，增强肿瘤区域为 88%。
• 推理时间仅需每 155 切片脑部 MRI 58 秒，展现出临床部署的实际可行性。
• ACDC-2017 的定性结果表明，左心室（红色）、右心室（蓝色）与心肌（绿色）的分割准确，异常区域的误报极少。