[论文解读] Neural Multi-Scale Self-Supervised Registration for Echocardiogram Dense Tracking

Wentao Zhu, Yufang Huang+6 more|arXiv (Cornell University)|Jun 18, 2019

Advanced MRI Techniques and Applications参考文献 19被引用 5

一句话总结

本文提出神经多尺度自监督配准（NMSR），一种深度学习框架，利用U-Net参数化超声心动图帧之间的速度场，并通过多尺度、自监督学习优化，以提升心肌运动与心脏血流的密集追踪性能。NMSR在保持20倍于ANTs推理速度的同时，实现了最先进精度，并展现出对噪声和大速度变化更强的鲁棒性。

ABSTRACT

Echocardiography has become routinely used in the diagnosis of cardiomyopathy and abnormal cardiac blood flow. However, manually measuring myocardial motion and cardiac blood flow from echocardiogram is time-consuming and error-prone. Computer algorithms that can automatically track and quantify myocardial motion and cardiac blood flow are highly sought after, but have not been very successful due to noise and high variability of echocardiography. In this work, we propose a neural multi-scale self-supervised registration (NMSR) method for automated myocardial and cardiac blood flow dense tracking. NMSR incorporates two novel components: 1) utilizing a deep neural net to parameterize the velocity field between two image frames, and 2) optimizing the parameters of the neural net in a sequential multi-scale fashion to account for large variations within the velocity field. Experiments demonstrate that NMSR yields significantly better registration accuracy than state-of-the-art methods, such as advanced normalization tools (ANTs) and VoxelMorph, for both myocardial and cardiac blood flow dense tracking. Our approach promises to provide a fully automated method for fast and accurate analyses of echocardiograms.

研究动机与目标

• 解决超声心动图中手动测量心肌运动与心脏血流不准确、速度慢的问题。
• 克服现有配准方法在处理超声成像中噪声、大速度变化以及缺乏真实标签时的局限性。
• 开发一种完全自动化、端到端的框架，用于超声心动图中同时实现心肌形变与心脏血流的密集追踪。
• 通过引入自监督优化，缩小训练与推理之间的领域差距，提升模型在未见数据上的泛化能力。
• 通过粗到细的多尺度优化策略，提升配准精度与鲁棒性，更好地捕捉如涡流等复杂血流动力学模式。

提出的方法

• 使用带有跳跃连接的U-Net参数化连续超声心动图帧之间的速度场，以支持形变场的端到端学习。
• 实施从最粗到最细的多尺度优化策略，分阶段细化速度场估计，降低优化难度。
• 采用自监督学习，结合重建损失与平滑损失，优化网络参数，无需真实配准场监督。
• 使用空间变换网络根据预测的速度场对图像进行形变，实现可微分图像重建，用于损失计算。
• 采用分层多尺度框架进行模型训练，每一尺度均以前一尺度的输出作为输入，以提升初始化质量与稳定性。
• 利用预训练模型作为初始化，进一步提升收敛速度与性能，尤其在数据量较少的场景下表现更优。

实验结果

研究问题

• RQ1 在噪声大、变化多的超声数据下，自监督深度学习框架是否能超越传统及有监督配准方法，在超声心动图密集追踪中表现更优？
• RQ2 多尺度优化在存在大运动变化的超声心动图中，如何提升速度场估计的精度与稳定性？
• RQ3 自监督优化在多大程度上缩小了训练与推理之间的领域差距，从而提升真实超声心动图序列上的泛化能力？
• RQ4 所提出方法能否可靠检测对比增强超声心动图中的复杂血流动力学模式，如心室血流涡流？
• RQ5 与单尺度方法相比，粗到细的多尺度学习集成如何提升速度场估计的质量？

主要发现

• NMSR在所有评估方法中表现最佳，在心肌与血流追踪任务中，均优于ANTs与VoxelMorph，MSE与平均相关系数（CC）均更优。
• NMSR（1）相比NMSR V与NMSR VI表现出更优的精度，证明了顺序多尺度优化在减少对重建损失过拟合方面的优势。
• 自监督优化策略显著缩小了训练与推理之间的估计差距，使速度场预测更具鲁棒性与泛化能力。
• NMSR成功检测并保留了心脏血流中的涡流模式，而ANTs与VoxelMorph常因噪声与正则化不足导致该模式被遗漏或模糊。
• NMSR实现20倍于ANTs的推理速度，单张GPU上49帧超声序列的总推理时间不足九分钟，而ANTs需约3小时。
• 使用预训练模型作为初始化可进一步提升性能，NMSR VI优于NMSR V，证实了迁移学习在该领域的价值。