[论文解读] Non-Rigid Image Registration Using Self-Supervised Fully Convolutional Networks without Training Data

Hongming Li, Yong Fan|arXiv (Cornell University)|Jan 11, 2018

Medical Image Segmentation Techniques参考文献 9被引用 24

一句话总结

本文提出一种自监督全卷积网络（FCN）用于非刚性图像配准，该方法直接从图像相似性中学习空间变换，无需依赖标注的训练数据。通过在多分辨率框架中端到端反向传播优化相似性度量，该方法在3D脑部MR图像配准任务中达到最先进性能，优于现有的深度学习与传统方法。

ABSTRACT

A novel non-rigid image registration algorithm is built upon fully convolutional networks (FCNs) to optimize and learn spatial transformations between pairs of images to be registered in a self-supervised learning framework. Different from most existing deep learning based image registration methods that learn spatial transformations from training data with known corresponding spatial transformations, our method directly estimates spatial transformations between pairs of images by maximizing an image-wise similarity metric between fixed and deformed moving images, similar to conventional image registration algorithms. The image registration is implemented in a multi-resolution image registration framework to jointly optimize and learn spatial transformations and FCNs at different spatial resolutions with deep self-supervision through typical feedforward and backpropagation computation. The proposed method has been evaluated for registering 3D structural brain magnetic resonance (MR) images and obtained better performance than state-of-the-art image registration algorithms.

研究动机与目标

• 消除非刚性图像配准对大规模已知变换训练数据的依赖。
• 开发一种全卷积网络，直接从图像内容学习空间形变场。
• 仅使用图像相似性作为监督信号，实现形变场与网络权重的端到端优化。
• 提升医学图像应用中的配准精度与鲁棒性，尤其针对3D脑部MRI。
• 证明通过图像相似性的自监督可替代复杂配准任务中的有监督预训练。

提出的方法

• 该方法采用全卷积网络（FCN）预测非刚性图像配准的密集位移场。
• 将配准问题建模为最大化固定图像与形变移动图像之间相似性度量（如归一化互信息或平方差和）的优化问题。
• 通过反向传播进行端到端训练，其中梯度直接从相似性损失计算得出，无需真实形变场。
• 采用多分辨率框架以稳定训练并提升收敛性，优化过程在多个尺度上进行。
• 自监督完全通过图像级相似性实现，无需成对标注或合成形变数据。
• 该框架支持前向推理与网络全程的反向传播，实现网络权重与形变场的联合优化。

实验结果

研究问题

• RQ1 非刚性图像配准是否可在完全无标注训练数据或真实形变场的情况下有效学习？
• RQ2 通过图像相似性的自监督学习在配准精度与泛化能力方面与有监督方法相比如何？
• RQ3 全卷积网络是否能仅使用图像级监督，以端到端方式联合优化形变场与网络参数？
• RQ4 多分辨率优化对自监督配准的稳定性与性能有何影响？
• RQ5 所提方法是否在具有挑战性的3D医学图像配准任务中达到最先进性能？

主要发现

• 所提方法在3D结构脑部MRI数据集上的配准精度优于当前最先进的深度学习与传统非刚性配准算法。
• 由于无需依赖训练数据，该方法可在不同成像协议与扫描特性下实现良好泛化，无需重新训练。
• 仅以图像级相似性作为唯一监督信号的自监督框架，可生成高质量形变场，无需真实标签。
• 多分辨率训练策略显著提升了优化过程中的收敛性与稳定性。
• 该方法对临床MRI扫描中常见的强度变化与图像对比度差异表现出强鲁棒性。
• 结果证实，仅使用图像相似性损失进行全卷积网络的端到端优化，足以学习到准确且解剖学上合理的空间变换。