[论文解读] Zero Shot Learning for Multi-Modal Real Time Image Registration

Avinash Kori, Ganapathi Krishnamurthi|arXiv (Cornell University)|Aug 17, 2019

Medical Image Segmentation Techniques参考文献 5被引用 7

一句话总结

该论文提出了一种零样本、无监督的深度学习框架，用于使用预训练的VGG-19网络进行特征提取，并通过多层感知机（MLP）回归器从自动检测的关键点估计仿射变换参数，实现实时多模态医学图像配准。该方法在BraTS、ALBERT和临床MRI数据集上实现了亚秒级的配准时间，具有高精度和不确定性估计，且无需任务特定的训练数据，表现出强大的鲁棒性。

ABSTRACT

In this report we present an unsupervised image registration framework, using a pre-trained deep neural network as a feature extractor. We refer this to zero-shot learning, due to nonoverlap between training and testing dataset (none of the network modules in the processing pipeline were trained specifically for the task of medical image registration). Highlights of our technique are: (a) No requirement of a training dataset (b) Keypoints i.e.locations of important features are automatically estimated (c) The number of key points in this model is fixed and can possibly be tuned as a hyperparameter. (d) Uncertaintycalculation of the proposed, transformation estimates (e) Real-time registration of images. Our technique was evaluated on BraTS, ALBERT, and collaborative hospital Brain MRI data. Results suggest that the method proved to be robust for affine transformation models and the results are practically instantaneous, irrespective of the size of the input image

研究动机与目标

• 开发一种无需任务特定训练数据的实时、无监督图像配准方法。
• 在神经外科等临床环境中，实现在多模态MRI扫描（如T1、T2、FLAIR）中的稳健配准。
• 仅使用从预训练卷积神经网络中提取的关键点特征，估计变换参数（缩放、旋转、平移、剪切）。
• 提供不确定性图以识别配准方差较高的区域，辅助临床决策。
• 通过质心（CoM）关键点表示实现降维，从而在不依赖图像尺寸的情况下实现实时性能。

提出的方法

• 在固定图像和移动图像上使用预训练的VGG-19网络作为特征提取器，利用前两个卷积层的特征。
• 对特征图应用95%最大激活阈值化处理，以隔离显著区域，减少噪声并聚焦于重要特征。
• 通过空间平均计算阈值化特征图的质心（CoM）作为关键点位置：$ CoM_x = \Sigma\Sigma f_{ij}x_{ij} / \Sigma\Sigma f_{ij} $。
• 将固定图像和移动图像的CoM坐标作为输入，输入至预训练的MLP回归器，以估计仿射变换参数。
• 集成不确定性估计器，生成像素级不确定性图，红色表示高方差，蓝色表示低方差。
• 采用最少的预处理：均值中心化、归一化和零填充，以在大变换过程中保留空间信息。

实验结果

研究问题

• RQ1 预训练的深度神经网络是否可在无需在医学图像数据上微调的情况下有效用于图像配准？
• RQ2 基于CoM的早期CNN特征的关键点配准与全图像配准相比，在速度和精度方面表现如何？
• RQ3 不确定性估计是否能提高临床图像配准的可靠性，特别是在组织切除或脑移位等情况下？
• RQ4 该方法是否在无需重新训练的情况下，对不同MRI序列和模态保持高性能？
• RQ5 该方法在多大程度上实现了与输入图像尺寸无关的实时性能？

主要发现

• 该方法在多模态MRI配准（T2到T1/T2）中，Dice分数从0.44提升至0.91，表明配准后几乎完美重叠。
• 该方法将RMSE降低了0.072，优于SimpleElastix（+0.0361）和基于SIFT的方法（+0.041）。
• 每幅图像的配准时间仅为0.2秒，显著快于SimpleElastix（1.6秒）和基于SIFT的方法（0.3秒）。
• 该方法在SSIM上提升了0.431，优于两种基线方法，表明配准后具有高度结构相似性。
• 不确定性图显示脑部中央区域方差较高，与临床预期中此类区域变形更大的情况一致。
• 该技术在BraTS、ALBERT和医院采集的MRI数据集中均表现出鲁棒性，证实了其在多样化数据源中的泛化能力。