[论文解读] SAINT: Spatially Aware Interpolation NeTwork for Medical Slice Synthesis

Cheng Peng, Wei-An Lin+3 more|arXiv (Cornell University)|Jan 3, 2020

Advanced Image Processing Techniques参考文献 19被引用 7

一句话总结

SAINT 提出了一种用于 3D 医疗切片合成的空间感知插值网络，采用带有各向异性元插值的 2D CNN，可处理任意上采样因子并减少内存使用，在四个 CT 数据集上显著优于现有 SISR 方法，在 PSNR 和 SSIM 方面表现更优，同时在无需微调的情况下保持高质量的细节重建。

ABSTRACT

Deep learning-based single image super-resolution (SISR) methods face various challenges when applied to 3D medical volumetric data (i.e., CT and MR images) due to the high memory cost and anisotropic resolution, which adversely affect their performance. Furthermore, mainstream SISR methods are designed to work over specific upsampling factors, which makes them ineffective in clinical practice. In this paper, we introduce a Spatially Aware Interpolation NeTwork (SAINT) for medical slice synthesis to alleviate the memory constraint that volumetric data poses. Compared to other super-resolution methods, SAINT utilizes voxel spacing information to provide desirable levels of details, and allows for the upsampling factor to be determined on the fly. Our evaluations based on 853 CT scans from four datasets that contain liver, colon, hepatic vessels, and kidneys show that SAINT consistently outperforms other SISR methods in terms of medical slice synthesis quality, while using only a single model to deal with different upsampling factors.

研究动机与目标

• 为解决在各向异性 CT 和 MR 数据中体积医学影像 3D 超分辨率（SISR）的内存瓶颈问题。
• 实现单个模型在无需微调的情况下支持任意上采样因子，提升临床适应性。
• 将空间分辨率信息（体素间距）融入插值过程，以增强解剖细节的恢复能力。
• 通过基于 2D 的处理与 3D 上下文融合，消除基于块的 3D SISR 方法产生的拼接伪影。
• 开发一种轻量化、可扩展的框架，在多种解剖结构和未见数据集上均保持高性能。

提出的方法

• SAINT 采用两阶段流程：首先，各向异性元插值（AMI）利用生成滤波器的元网络对切片间图像进行基于 2D 的上采样，该方法考虑体素间距并支持任意整数上采样因子。
• AMI 通过使用全局图像范围的投影避免逐像素生成滤波器，与 Meta-SR 相比，显著降低了内存开销。
• 其次，残差融合网络（RFN）在第三维上融合 AMI 的输出，以优化 3D 上下文并减少 2D 处理带来的不一致性。
• RFN 使用残差学习以增强细粒度细节恢复，并确保稳定快速的收敛。
• 模型采用感知损失和 L1 损失进行端到端训练，以保持结构保真度并减少伪影。
• 该框架设计具有可扩展性，可在不引发内存爆炸的情况下支持更深或更宽的架构。

实验结果

研究问题

• RQ1 基于 2D 的 SISR 方法是否能在避免 3D 块状网络内存与伪影问题的前提下，实现具有竞争力的 3D 医疗切片合成性能？
• RQ2 单个深度学习模型是否能无需微调即在多种上采样因子（如 ×4、×6）间实现泛化？
• RQ3 在插值过程中引入体素间距信息是否能提升各向异性医学体数据中的解剖细节恢复能力？
• RQ4 在多样化的腹部 CT 结构上，SAINT 在 PSNR、SSIM 和视觉质量方面与最先进 SISR 方法相比表现如何？
• RQ5 SAINT 是否能在未见数据集（如训练中未使用的肾脏数据）上保持性能而无明显下降？

主要发现

• 在四个 CT 数据集（肝脏、结肠、肝血管、肾脏）上，SAINT 在所有上采样因子下均达到最高的 PSNR 和 SSIM 分数，×4 时为 34.91/0.9603，×6 时为 32.49/0.9395。
• 在肝脏和肝血管数据集上，SAINT 在 ×4 时比 3D MDSR、mDCSRN 和 3D RDN 提高了 1.2–2.0 dB 的 PSNR，表明其在细节恢复方面更优。
• 视觉对比显示，SAINT 产生的结构伪影更少，解剖细节更丰富，尤其在脊柱和血管树等复杂结构上表现更佳。
• SAINT 在未参与训练的肾脏数据集上仍保持稳健性能，证明其具备强大的泛化能力。
• 该模型仅用 2.93M 参数即达到最先进性能，表明其在多阶段设计下仍具备高效率与可扩展性。
• 与 Meta-SR 相比，AMI 的滤波器生成机制在未见上采样因子下更稳定，后者因因子依赖的滤波器生成而出现性能下降。