[论文解读] Spatially-varying Regularization with Conditional Transformer for Unsupervised Image Registration

Junyu Chen, Yihao Liu+2 more|arXiv (Cornell University)|Mar 10, 2023

Medical Image Segmentation Techniques被引用 4

一句话总结

该论文提出了一种端到端的深度学习框架，通过使用条件Transformer自适应控制形变平滑度，学习用于无监督医学图像配准的时空可变正则化。通过将正则化超参数η条件化输入网络，并引入一种新颖的对数损失以强制实现平滑性，该方法在多个数据集上实现了更优的配准精度和更少的形变不规则性，优于当前最先进的基线方法。

ABSTRACT

In the past, optimization-based registration models have used spatially-varying regularization to account for deformation variations in different image regions. However, deep learning-based registration models have mostly relied on spatially-invariant regularization. Here, we introduce an end-to-end framework that uses neural networks to learn a spatially-varying deformation regularizer directly from data. The hyperparameter of the proposed regularizer is conditioned into the network, enabling easy tuning of the regularization strength. The proposed method is built upon a Transformer-based model, but it can be readily adapted to any network architecture. We thoroughly evaluated the proposed approach using publicly available datasets and observed a significant performance improvement while maintaining smooth deformation. The source code of this work will be made available after publication.

研究动机与目标

• 为解决基于深度学习的图像配准中空间不变正则化的局限性，该方法无法考虑区域特定的形变变化。
• 开发一种端到端可训练的框架，直接从数据中学习时空可变的正则化权重，以提高配准精度和平滑度。
• 通过将正则化强度条件化嵌入网络架构，实现灵活的超参数调优，从而在推理过程中控制形变平滑度。
• 确保该方法可轻松集成到现有深度神经网络（DNN）配准模型中，而无需进行重大的架构修改。

提出的方法

• 该方法引入了一种加权扩散正则化器，通过学习体素级权重体积来调节形变平滑度，实现时空可变的正则化。
• 提出了一种新颖的对数损失项，以鼓励网络在可能的情况下施加更强的正则化，从而促进形变场的整体平滑性。
• 将正则化超参数η条件化输入基于Transformer的网络，实现在推理过程中根据不同图像区域动态调整正则化强度。
• 该框架可兼容多种网络架构，并可轻松适配到现有的无监督DNN配准模型中。
• 权重体积通过神经网络端到端预测，正则化强度由可学习的超参数η控制。
• 该方法在合成和真实医学影像数据集上进行了评估，证明了其在不同配准任务中的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 基于深度学习的方法能否有效从数据中学习时空可变的正则化权重，以提升图像配准性能？
• RQ2 将正则化超参数条件化嵌入网络架构，如何影响形变平滑度的适应性和控制能力？
• RQ3 所提出的对数损失项是否能有效促进形变场的全局平滑性，同时允许正则化强度在局部区域有所变化？
• RQ4 该方法能否在不进行架构大规模重构的情况下，无缝集成到现有的无监督DNN配准框架中？
• RQ5 在配准精度和形变质量方面，该方法与当前最先进的方法相比表现如何？

主要发现

• 在OASIS数据集上，所提出的TM-SPR方法取得了0.870 ± 0.017的Dice分数，显著优于TM-TVF（0.869 ± 0.014）及其他基线方法，配对t检验的p值≪ 0.0001。
• 在IXI数据集上，TM-SPR取得了0.769 ± 0.123的Dice分数，相较于所有对比方法（包括TM-TVF）均表现出统计显著的提升。
• 该方法保持了较低的形变不规则性水平，在IXI数据集上仅有0.36%的折叠体素（NDV），表明其具有较高的微分同胚质量。
• 通过网格搜索确定，OASIS的最佳超参数η为0.45，IXI为2.2，表明该方法对数据特异性特征具有敏感性。
• 视觉结果证实，该方法在OASIS中对脑室区域自适应分配较低的正则化强度，而在IXI中则分配更高的正则化强度，与解剖学预期及损失函数约束一致。
• TM-SPR${}_{\text{diff}}$变体在IXI数据集上取得了第二好的Dice分数（0.762 ± 0.123），同时实现了近乎零的折叠体素，证明其具备强大的微分同胚特性。