[论文解读] Tackling the Problem of Large Deformations in Deep Learning Based Medical Image Registration Using Displacement Embeddings

Lasse Hansen, Mattias P. Heinrich‬|arXiv (Cornell University)|May 27, 2020

Medical Imaging Techniques and Applications被引用 5

一句话总结

本文提出了一种新颖的深度学习框架，用于医学图像配准，通过将密集位移场映射到低维嵌入空间来解决大形变问题，相较于基于U-Net的方法提升了精度。通过使用稀疏关键点特征和学习到的嵌入，该方法在吸气到呼气的CT肺部配准中实现了亚2毫米的目标配准误差，优于当前最先进的基于学习的方法。

ABSTRACT

Though, deep learning based medical image registration is currently starting to show promising advances, often, it still fells behind conventional frameworks in terms of registration accuracy. This is especially true for applications where large deformations exist, such as registration of interpatient abdominal MRI or inhale-to-exhale CT lung registration. Most current works use U-Net-like architectures to predict dense displacement fields from the input images in different supervised and unsupervised settings. We believe that the U-Net architecture itself to some level limits the ability to predict large deformations (even when using multilevel strategies) and therefore propose a novel approach, where the input images are mapped into a displacement space and final registrations are reconstructed from this embedding. Experiments on inhale-to-exhale CT lung registration demonstrate the ability of our architecture to predict large deformations in a single forward path through our network (leading to errors below 2 mm).

研究动机与目标

• 为解决基于U-Net的架构在处理医学图像配准中大形变时的局限性。
• 提升在具有挑战性的病例（如跨患者腹部MRI和吸气到呼气的CT肺部配准）中的配准精度。
• 通过将高分辨率特征图压缩为低维嵌入，降低位移图学习中的计算负担。
• 证明通过关键点和嵌入显式建模位移关系，相较于直接回归密集位移场，可实现更优性能。

提出的方法

• 该方法使用轻量级U-Net从固定图像和移动图像中提取MIND类似特征。
• 使用Foerstner兴趣点算子对固定图像特征进行约1500个关键点的稀疏采样，以减少搜索空间。
• 通过比较固定图像特征块与对应位置在移动图像中的位移块，构建位移图。
• 利用主成分分析（PCA）（256或512维）将位移图压缩到低维嵌入空间，降低维度约98%或95%。
• 通过在关键点图上应用图拉普拉斯扩散进行正则化，以保证空间一致性。
• 从嵌入空间重建最终位移，支持端到端训练和推理。

实验结果

研究问题

• RQ1 与直接回归密集位移场相比，显式建模图像特征之间的位移关系是否能提升大形变情况下的配准精度？
• RQ2 将位移图压缩到学习到的或基于PCA的嵌入空间是否能降低计算成本，同时保持配准精度？
• RQ3 基于关键点的方法结合稀疏特征匹配是否能在具有挑战性的肺部CT配准任务中超越多级U-Net架构？
• RQ4 在具有大形变的基准数据集上，该方法与当前最先进的基于学习的配准框架相比表现如何？

主要发现

• 在DIR-Lab 4D-CT数据集上，该方法实现了1.97毫米（±1.42）的平均目标配准误差（TRE），优于所有对比的基于学习的方法。
• 在DIR-Lab COPD数据集上，该方法实现了3.42毫米（±5.63）的平均TRE，为所有对比方法中的最低值。
• 该方法在4D-CT数据集上实现了亚2毫米的配准误差，证明其在大形变任务中的卓越性能。
• 使用512维PCA嵌入将位移空间减少了约95%，显著降低了计算成本，同时保持了高精度。
• 该方法甚至优于先进的基于U-Net的模型（如VoxelMorph和mlVIRNET），后者在相同基准测试中表现出更高的误差。
• 结果表明，通过关键点和嵌入显式建模位移关系，是直接回归密集场的一种有前景的替代方案。