[论文解读] Unsupervised/Semi-supervised Deep Learning for Low-dose CT Enhancement

Mingrui Geng, Yun Deng+6 more|arXiv (Cornell University)|Aug 8, 2018

Medical Imaging Techniques and Applications参考文献 27被引用 12

一句话总结

该论文提出了一种用于低剂量CT（LdCT）增强的无监督和半监督深度学习框架，直接在未标记的LdCT反投影图上进行训练，而无需配对的高剂量图像。通过构建一个利用未标记数据中结构先验和噪声统计的最大后验概率（MAP）模型，该方法学习到有意义的梯度以指导网络优化，在仅使用极少或不使用标注数据的情况下实现了与监督方法相当的性能。

ABSTRACT

Recently, deep learning(DL) methods have been proposed for the low-dose computed tomography(LdCT) enhancement, and obtain good trade-off between computational efficiency and image quality. Most of them need large number of pre-collected ground-truth/high-dose sinograms with less noise, and train the network in a supervised end-to-end manner. This may bring major limitations on these methods because the number of such low-dose/high-dose training sinogram pairs would affect the network's capability and sometimes the ground-truth sinograms are hard to be obtained in large scale. Since large number of low-dose ones are relatively easy to obtain, it should be critical to make these sources play roles in network training in an unsupervised learning manner. To address this issue, we propose an unsupervised DL method for LdCT enhancement that incorporates unlabeled LdCT sinograms directly into the network training. The proposed method effectively considers the structure characteristics and noise distribution in the measured LdCT sinogram, and then learns the proper gradient of the LdCT sinogram in a pure unsupervised manner. Similar to the labeled ground-truth, the gradient information in an unlabeled LdCT sinogram can be used for sufficient network training. The experiments on the patient data show effectiveness of the proposed method.

研究动机与目标

• 解决监督深度学习在LdCT增强中的局限性，即需要大规模、配对的低剂量/高剂量反投影图数据集，而这些数据集常因隐私、成本和领域偏差而难以获取。
• 通过利用数据中固有的结构和噪声特性，仅使用未标记的低剂量CT反投影图实现深度网络的有效训练。
• 开发一种可泛化的无监督深度学习范式，通过结合少量标注数据与大量未标注数据，将其扩展至半监督设置。
• 在减少对昂贵或不可获取的高剂量参考数据依赖的同时，提升LdCT重建的计算效率和图像质量。

提出的方法

• 构建一个最大后验概率（MAP）目标函数，融合来自干净CT反投影图的结构先验和来自测量LdCT反投影图的噪声统计。
• 利用该MAP模型推导出一个梯度方向，即使在缺乏真实标签的情况下，也能引导LdCT反投影图向更清洁、更精确的重建结果收敛。
• 将这种无监督梯度学习整合到深度神经网络中，实现仅使用未标记LdCT反投影图的端到端训练。
• 通过将监督损失（来自标注的低剂量/高剂量配对数据）与无监督的MAP损失相结合，将框架扩展至半监督设置。
• 使用混合目标函数进行网络训练：对标注数据使用监督损失，对未标注数据使用模型驱动的MAP损失。
• 利用网络作为优化器，最小化目标函数，从而在训练数据有限的情况下仍能实现显式的预测网络。

实验结果

研究问题

• RQ1 是否可以在不依赖配对高剂量参考图像的情况下，有效利用未标记的低剂量CT反投影图进行深度学习训练？
• RQ2 如何对未标记LdCT反投影图中的结构先验和噪声统计进行建模，以实现无监督方式下的网络优化引导？
• RQ3 无监督深度学习方法是否能在LdCT增强任务中实现与监督方法相当的性能？
• RQ4 在半监督框架中，结合少量标注数据与大量未标注数据，如何提升重建质量？
• RQ5 所提出的无监督/半监督范式是否可推广至其他图像重建与信号恢复任务？

主要发现

• 无监督方法unsup-CNN在10 mAs时达到36.72 dB的PSNR，在20 mAs时达到38.49 dB，尽管未使用任何标注数据，其性能与监督方法sup-CNN相当。
• 半监督方法semi-CNN在20对标注数据和50个未标注LdCT反投影图上训练，20 mAs时PSNR达到39.67 dB，优于unsup-CNN和FBP。
• 视觉评估表明，与PWLS和MAP-FC相比，unsup-CNN在低剂量场景下能更好地保留细微结构和分辨率。
• 即使仅使用单个LdCT反投影图进行训练，该方法仍保持高性能，表明其对数据量有限具有强鲁棒性。
• 半监督框架在20 mAs时的SSIM（0.9457）和FSIM（0.9751）均优于unsup-CNN（SSIM: 0.9352，FSIM: 0.9378），表明其具有更好的结构保真度。
• 所提方法可实现高效、显式的预测网络，适用于仅需极少标注数据的临床实际部署。