[论文解读] Rethinking Medical Image Reconstruction via Shape Prior, Going Deeper and Faster: Deep Joint Indirect Registration and Reconstruction

Jiulong Liu, Angelica I. Avilés-Rivero+2 more|arXiv (Cornell University)|Dec 16, 2019

Advanced MRI Techniques and Applications参考文献 35被引用 4

一句话总结

本文提出了一种新颖的深度联合框架，通过融合形状先验，利用学习到的微分同胚配准与基于物理的反演，同时实现从欠采样、噪声医学影像数据的间接图像配准与重建。通过在单个可微模型中交织重建与配准，结合深度残差块与定点优化，该方法在MRI、稀疏视角CT和低剂量CT中均实现了优于以往方法的图像质量，且计算速度提升超过66%。

ABSTRACT

Indirect image registration is a promising technique to improve image reconstruction quality by providing a shape prior for the reconstruction task. In this paper, we propose a novel hybrid method that seeks to reconstruct high quality images from few measurements whilst requiring low computational cost. With this purpose, our framework intertwines indirect registration and reconstruction tasks is a single functional. It is based on two major novelties. Firstly, we introduce a model based on deep nets to solve the indirect registration problem, in which the inversion and registration mappings are recurrently connected through a fixed-point interaction based sparse optimisation. Secondly, we introduce specific inversion blocks, that use the explicit physical forward operator, to map the acquired measurements to the image reconstruction. We also introduce registration blocks based deep nets to predict the registration parameters and warp transformation accurately and efficiently. We demonstrate, through extensive numerical and visual experiments, that our framework outperforms significantly classic reconstruction schemes and other bi-task method; this in terms of both image quality and computational time. Finally, we show generalisation capabilities of our approach by demonstrating their performance on fast Magnetic Resonance Imaging (MRI), sparse view computed tomography (CT) and low dose CT with measurements much below the Nyquist limit.

研究动机与目标

• 解决在MRI中因采集时间长而造成的高度欠采样与噪声测量下的高质量医学图像重建挑战。
• 通过联合优化重建与配准任务，克服传统分离式重建与配准流程的局限性，减少误差传播并提升泛化能力。
• 开发一种计算高效的算法，通过利用深度学习进行配准与重建，同时尊重物理前向模型，保持高图像保真度。
• 在多种成像模态（包括快速MRI、稀疏视角CT与低剂量CT）中实现泛化，测量值远低于奈奎斯特极限。
• 提出一种混合模型，统一基于模型的正则化（LDDMM）与深度学习，以提升重建精度与速度。

提出的方法

• 构建一个联合优化问题，通过单一函数同时求解间接图像配准与图像重建，且两个任务共享参数。
• 设计带有专用反演模块的深度残差网络，显式集成物理前向算子（如傅里叶变换、拉东变换），以将原始测量映射为图像估计。
• 基于深度神经网络实现配准模块，以准确高效地预测形变参数与变形场，支持端到端可微性。
• 采用基于稀疏优化的定点迭代方案，通过循环连接耦合反演与配准映射，确保优化过程稳定且可微。
• 使用可微损失函数端到端训练整个网络，该损失函数结合数据一致性、LDDMM正则化与重建保真度。
• 将已配准模板图像中的形状先验整合到重建过程中，以提升解剖结构准确性并减少伪影。

实验结果

研究问题

• RQ1 当与重建任务联合优化时，间接图像配准是否能显著提升高度欠采样医学影像的图像质量？
• RQ2 如何有效结合深度学习与基于模型的配准（LDDMM），以实现高重建保真度与低计算成本？
• RQ3 统一的深度学习框架是否能在图像质量与推理速度方面超越独立的重建与配准流程？
• RQ4 所提方法在不同成像模态（如MRI、CT）与采样模式（如笛卡尔、径向）之间的泛化能力如何？
• RQ5 在深度网络中集成物理前向模型是否能增强低信噪比条件下的重建鲁棒性并减少伪影？

主要发现

• 在MRI与CT数据集上，所提方法在所有对比方法中取得了最高的PSNR与SSIM分数，PSNR提升显著优于经典TV + LDDMM方法与现有最先进方法。
• 在所有数据集与采样模式下，重建误差始终最低，表明对细节、边缘与纹理的保留能力更优。
• 与经典TV + LDDMM方案及Chen等人[39]的方法相比，计算时间减少超过66%，同时保持或提升了图像质量。
• 视觉结果表明，所提重建结果能有效保留解剖结构，避免模糊与对比度损失，而基线方法则引入了显著伪影。
• 图8中预测的动量场与真实值高度一致，证实了深度配准模块在捕捉复杂形变方面的有效性。
• 在多种模态（快速MRI、稀疏视角CT、低剂量CT）上验证了泛化能力，表明对低采样率与多样化采集模式具有强鲁棒性。