[论文解读] Recurrent Aggregation Learning for Multi-View Echocardiographic Sequences Segmentation

Ming Li, Weiwei Zhang+6 more|arXiv (Cornell University)|Jul 24, 2019

Cardiac Valve Diseases and Treatments参考文献 12被引用 8

一句话总结

本文提出了一种用于端到端多视角超声心动图序列分割与分类的循环聚合学习（RAL）框架。通过利用金字塔卷积块（ConvBlocks）进行多层级、多尺度特征提取，以及利用分层ConvLSTM进行时空建模，RAL集成了双分支聚合机制，使分割与分类相互增强。该方法在多厂商、多中心数据集上实现了最先进的性能，准确率达到98.7%，Dice系数为91.9%，并展现出优越的时间稳定性。

ABSTRACT

Multi-view echocardiographic sequences segmentation is crucial for clinical diagnosis. However, this task is challenging due to limited labeled data, huge noise, and large gaps across views. Here we propose a recurrent aggregation learning method to tackle this challenging task. By pyramid ConvBlocks, multi-level and multi-scale features are extracted efficiently. Hierarchical ConvLSTMs next fuse these features and capture spatial-temporal information in multi-level and multi-scale space. We further introduce a double-branch aggregation mechanism for segmentation and classification which are mutually promoted by deep aggregation of multi-level and multi-scale features. The segmentation branch provides information to guide the classification while the classification branch affords multi-view regularization to refine segmentations and further lessen gaps across views. Our method is built as an end-to-end framework for segmentation and classification. Adequate experiments on our multi-view dataset (9000 labeled images) and the CAMUS dataset (1800 labeled images) corroborate that our method achieves not only superior segmentation and classification accuracy but also prominent temporal stability.

研究动机与目标

• 为解决在标注数据有限、噪声高以及解剖结构/视角差异大的情况下，多视角超声心动图序列分割的挑战。
• 开发一种端到端的深度学习框架，同时执行分割与视图分类，以提高鲁棒性。
• 通过联合时空建模与多视角正则化，增强时间稳定性并减少视图间差异。
• 在真实世界中的多厂商、多中心超声心动图序列上，实现更高的分割准确率和临床相关性。

提出的方法

• 利用金字塔空洞密集卷积块（ConvBlocks）从输入超声心动图图像中提取多层级、多尺度特征。
• 采用分层ConvLSTM网络对帧间的时空依赖关系进行建模，实现端到端的长时序建模。
• 引入双分支聚合机制，使分割与分类分支通过相互监督共享并优化多层级、多尺度特征。
• 在不同视角之间进行深度特征聚合，以减小领域差距，提升在不同厂商和影像中心之间的泛化能力。
• 设计端到端的训练流程，联合优化分割与分类目标，无需依赖光流或预训练模型。

实验结果

研究问题

• RQ1 统一的深度学习框架能否在保持时间一致性的前提下，有效分割多视角超声心动图序列？
• RQ2 如何在空间与时间维度上有效聚合多层级、多尺度特征，以提升分割的鲁棒性？
• RQ3 视图的联合分类在多大程度上能提升分割准确率并减少视图间差异？
• RQ4 所提出的方法能否在左心室射血分数和容积估计方面实现高临床相关性？

主要发现

• RAL在多视角超声心动图序列数据集上实现了98.7%的准确率和91.9%的Dice分数，显著优于U-Net、ACNN和U-Net++。
• 在CAMUS数据集上，RAL表现出高度的临床相关性，舒张末期容积的皮尔逊相关系数r = 0.952，收缩末期容积的r = 0.960，射血分数的r = 0.839。
• RAL在舒张末期容积估计中实现了最低的平均绝对误差8.8 ml，收缩末期容积为7.1 ml，偏差分别为-7.5 ml和-3.8 ml。
• 该方法展现出显著的时间稳定性，除中周期帧存在适度波动外，整个心动周期内准确率和Dice值均保持稳定。
• RAL实现了最高的分类准确率0.933，表明通过共享特征学习，有效实现了多视角的区分能力。
• 双分支聚合机制显著减小了视图间差距，并提升了在异质数据源上的分割一致性。