[论文解读] Synthesis of Positron Emission Tomography (PET) Images via Multi-channel Generative Adversarial Networks (GANs)

Lei Bi, Jinman Kim+3 more|arXiv (Cornell University)|Jul 31, 2017

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 24

一句话总结

该论文提出了一种多通道生成对抗网络（M-GAN），通过联合利用肿瘤标注和CT解剖信息，指导病灶生成与空间一致性，从而合成逼真的PET图像。该方法生成的高保真合成PET扫描图像在用于训练肿瘤检测模型时，实现了52.38%的召回率——仅比使用真实数据时低2.79%，表明其在提升基于PET的机器学习训练数据方面具有强大潜力。

ABSTRACT

Positron emission tomography (PET) image synthesis plays an important role, which can be used to boost the training data for computer aided diagnosis systems. However, existing image synthesis methods have problems in synthesizing the low resolution PET images. To address these limitations, we propose multi-channel generative adversarial networks (M-GAN) based PET image synthesis method. Different to the existing methods which rely on using low-level features, the proposed M-GAN is capable to represent the features in a high-level of semantic based on the adversarial learning concept. In addition, M-GAN enables to take the input from the annotation (label) to synthesize the high uptake regions e.g., tumors and from the computed tomography (CT) images to constrain the appearance consistency and output the synthetic PET images directly. Our results on 50 lung cancer PET-CT studies indicate that our method was much closer to the real PET images when compared with the existing methods.

研究动机与目标

• 解决肿瘤学中用于训练机器学习模型的标注PET影像数据稀缺的问题。
• 克服现有合成PET方法的局限性，如解剖结构保真度差以及无法生成准确的肿瘤区域。
• 开发一种统一的深度学习框架，整合肿瘤标注和CT图像，以合成解剖结构一致、摄取信号高的PET图像。
• 评估合成PET数据在多大程度上可有效增强真实数据，用于训练肺癌中稳健的肿瘤检测模型。

提出的方法

• 采用多通道生成对抗网络架构，将CT图像和肿瘤分割标签作为输入，生成合成PET图像。
• 通过生成器与判别器之间的对抗训练，学习高层语义表征并提升图像真实感。
• 整合标签信息以指导高摄取区域（如肿瘤）的生成，同时利用CT数据以确保解剖一致性和空间结构。
• 训练生成器以最小化感知损失和重建损失，包括平均绝对误差（MAE）和峰值信噪比（PSNR），以保证图像质量。
• 将该GAN应用于50例肺癌PET-CT扫描，生成合成数据，随后用于训练全卷积网络（FCN）进行肿瘤检测。
• 通过交叉验证划分数据为训练和测试组，使用一组中的合成数据训练FCN，并在另一组的真实图像上进行测试。

实验结果

研究问题

• RQ1 多通道生成对抗网络能否有效合成保留解剖结构和肿瘤特异性摄取模式的逼真PET图像？
• RQ2 与单输入生成对抗网络相比，同时引入CT和肿瘤标签输入在多大程度上提升了合成PET图像的真实感和一致性？
• RQ3 与真实数据相比，使用M-GAN生成的合成PET图像在多大程度上能提升肿瘤检测模型的性能？
• RQ4 在图像质量和下游任务性能方面，M-GAN生成的合成数据与其它生成对抗网络变体（如LB-GAN、CT-GAN）相比表现如何？

主要发现

• M-GAN在所有生成对抗网络变体中实现了最低的平均绝对误差（MAE）4.60和最高的峰值信噪比（PSNR）28.06，表明其图像质量更优。
• 与LB-GAN和CT-GAN相比，M-GAN生成的合成PET图像在解剖保真度和肿瘤定位方面显著更优，后者存在结构错位和病灶缺失问题。
• 在M-GAN合成数据上训练的FCN模型实现了52.38%的召回率，仅比在真实PET数据上训练的模型（55.17%召回率）低2.79%。
• M-GAN在肿瘤检测任务中优于LB-GAN（44.06%召回率）和CT-GAN（3.69%召回率），证明了联合标签与CT引导的有效性。
• M-GAN框架成功在正确解剖位置生成了肿瘤，包括纵隔等困难区域，而CT-GAN在这些区域失败。
• 结果表明，M-GAN生成的合成数据可有效增强真实数据，提升基于PET的计算机辅助诊断系统的训练效果。