[论文解读] TransCT: Dual-path Transformer for Low Dose Computed Tomography

Zhicheng Zhang, Lequan Yu+3 more|arXiv (Cornell University)|Feb 28, 2021

Medical Imaging Techniques and Applications参考文献 35被引用 11

一句话总结

该论文提出TransCT，一种用于低剂量计算机断层扫描（LDCT）图像重建的双路径Transformer架构，通过将噪声LDCT图像分解为高频（HF）和低频（LF）分量，分别利用独立的Transformer模块对LF部分的潜在纹理特征和HF分量的嵌入进行优化，再与内容特征结合，采用分段重建策略，最终在Mayo LDCT数据集上实现了SOTA性能，RMSE为21.199 ± 2.054，SSIM为0.933 ± 0.012。

ABSTRACT

Low dose computed tomography (LDCT) has attracted more and more attention in routine clinical diagnosis assessment, therapy planning, etc., which can reduce the dose of X-ray radiation to patients. However, the noise caused by low X-ray exposure degrades the CT image quality and then affects clinical diagnosis accuracy. In this paper, we train a transformer-based neural network to enhance the final CT image quality. To be specific, we first decompose the noisy LDCT image into two parts: high-frequency (HF) and low-frequency (LF) compositions. Then, we extract content features (X_{L_c}) and latent texture features (X_{L_t}) from the LF part, as well as HF embeddings (X_{H_f}) from the HF part. Further, we feed X_{L_t} and X_{H_f} into a modified transformer with three encoders and decoders to obtain well-refined HF texture features. After that, we combine these well-refined HF texture features with the pre-extracted X_{L_c} to encourage the restoration of high-quality LDCT images with the assistance of piecewise reconstruction. Extensive experiments on Mayo LDCT dataset show that our method produces superior results and outperforms other methods.

研究动机与目标

• 为应对因X射线辐射剂量降低而导致的低剂量CT（LDCT）图像质量下降问题。
• 克服CNN在LDCT图像去噪中对长程依赖关系建模能力不足以及局部感受野限制的局限性。
• 通过利用全局上下文与纹理信息，探索Transformer在LDCT重建中的潜力。
• 通过一种新颖的双路径架构，分离并处理高频与低频分量，从而提升图像质量。

提出的方法

• 该方法通过多尺度特征提取将噪声LDCT图像分解为高频（HF）和低频（LF）分量。
• 从LF分量中提取内容特征（$X_{L_c}$）和潜在纹理特征（$X_{L_t}$），从HF分量中提取HF嵌入（$X_{H_f}$）。
• 使用包含三个编码器-解码器块的改进型Transformer，将$X_{L_t}$和$X_{H_f}$作为独立序列处理，以优化高频纹理特征。
• 将优化后的HF纹理特征与$X_{L_c}$结合，并通过包含残差块和子像素上采样层的分段策略进行重建。
• 在Mayo LDCT数据集上端到端训练网络，使用重建损失最小化预测图像与真实图像之间的差异。
• 双路径设计使模型能够在LF部分保留结构内容的同时，通过自注意力机制增强HF部分的精细纹理。

实验结果

研究问题

• RQ1 基于Transformer的架构是否能有效建模低剂量CT图像中的长程依赖关系，从而在去噪性能上优于CNN？
• RQ2 将图像分离为高频与低频分量，如何增强LDCT重建中纹理与内容特征的学习？
• RQ3 分段重建策略在保留精细图像细节和提升最终图像质量方面有何贡献？
• RQ4 与联合处理相比，采用独立处理LF与HF分量的双路径设计在重建精度和噪声抑制方面表现如何？

主要发现

• TransCT在Mayo LDCT数据集上达到RMSE为21.199 ± 2.054，优于包括使用残差学习和小波基CNN在内的基线方法。
• 该方法达到SSIM为0.933 ± 0.012，表明结构保留能力强，与真实图像高度相似。
• 消融实验表明，若移除分段重建策略，收敛速度变慢且RMSE升高，证实其在细节恢复中的关键作用。
• 完整TransCT模型（同时包含Transformer模块与双路径模块）表现最佳，RMSE为21.199 ± 2.054，SSIM为0.933 ± 0.012，VIF为0.144 ± 0.025。
• 更大的模型尺寸（如隐藏维度8c）可实现更好收敛与更低RMSE，证实模型容量增大的优势。
• 若移除Transformer模块或双路径模块，性能均下降，其中无Transformer模块的RMSE为22.62 ± 2.068，无双路径模块的RMSE为21.711 ± 1.997。