[论文解读] TAN: Temporal Affine Network for Real-Time Left Ventricle Anatomical Structure Analysis Based on 2D Ultrasound Videos

Sihong Chen, Kai Ma+1 more|arXiv (Cornell University)|Apr 1, 2019

Cardiac Valve Diseases and Treatments参考文献 29被引用 7

一句话总结

该论文提出TAN，一种轻量级的时间仿射网络，通过光流引导的标注优化和多任务学习（用于心尖点检测与心脏平面分类），利用时间一致性来提升2D超声心动图中左心室（LV）分割的实时性能。该方法在52 fps下实现了91.14%的Dice分数，显著增强了在边界模糊和伪影较多的困难病例中的运动一致性与鲁棒性。

ABSTRACT

With superiorities on low cost, portability, and free of radiation, echocardiogram is a widely used imaging modality for left ventricle (LV) function quantification. However, automatic LV segmentation and motion tracking is still a challenging task. In addition to fuzzy border definition, low contrast, and abounding artifacts on typical ultrasound images, the shape and size of the LV change significantly in a cardiac cycle. In this work, we propose a temporal affine network (TAN) to perform image analysis in a warped image space, where the shape and size variations due to the cardiac motion as well as other artifacts are largely compensated. Furthermore, we perform three frequent echocardiogram interpretation tasks simultaneously: standard cardiac plane recognition, LV landmark detection, and LV segmentation. Instead of using three networks with one dedicating to each task, we use a multi-task network to perform three tasks simultaneously. Since three tasks share the same encoder, the compact network improves the segmentation accuracy with more supervision. The network is further finetuned with optical flow adjusted annotations to enhance motion coherence in the segmentation result. Experiments on 1,714 2D echocardiographic sequences demonstrate that the proposed method achieves state-of-the-art segmentation accuracy with real-time efficiency.

研究动机与目标

• 为解决2D超声心动图视频中左心室（LV）分割的准确性与实时性挑战，该挑战受动态形状变化、低对比度和成像伪影的制约。
• 通过使用Lucas-Kanade光流构建新型时间一致性模块（TCM），建模时间动态，提升心脏周期间分割的运动一致性。
• 通过共享编码器联合训练左心室分割、心尖点检测与心脏平面识别，提升分割的鲁棒性与准确性。
• 通过采用轻量级MobileNetV2主干网络与端到端训练，实现适合临床部署的实时推理效率。

提出的方法

• TAN框架采用多任务学习设置，通过共享编码器联合训练左心室分割、二尖瓣心尖点检测与心脏平面分类，提升泛化能力与监督信号。
• 基于前一帧预测的三个左心室心尖点（心尖与二尖瓣环两点），对每一帧应用时间仿射变换，以稳定因心脏运动引起的心室形状与尺寸变化。
• 时间一致性模块（TCM）利用Lucas-Kanade光流对真实标注进行优化，训练过程中强制相邻帧间运动一致性。
• 采用最优难例挖掘（OHEM）聚焦于困难边界区域的训练，提升在噪声或模糊区域的分割精度。
• 网络采用轻量级MobileNetV2主干网络进行端到端训练，确保在标准硬件上的实时推理性能。
• 通过每帧仅一次前向传播加速推理，在GPU上实现52 fps的推理速度，在CPU上相比U-Net与PSPNet实现20倍以上的加速。

实验结果

研究问题

• RQ1 统一的多任务网络是否可通过共享心尖点检测与心脏平面分类等关联任务的表示，提升左心室分割的准确性？
• RQ2 基于光流的标注优化在提升心脏周期间左心室分割时间一致性方面效果如何？
• RQ3 时间仿射变换在多大程度上降低了对心脏运动引起形状与尺寸变化的敏感性？
• RQ4 轻量级网络是否能在保持实时推理速度的同时实现最先进水平的分割性能？

主要发现

• 所提出的TAN框架在左心室分割上实现了91.14%的Dice系数，精度优于现有方法，同时在单张GPU上保持52 fps的实时推理速度。
• 时间一致性模块（TCM）使最差10%的病例Dice分数提升近10%，显著增强了在边界模糊或存在伪影的困难帧上的鲁棒性。
• ASD（平均表面距离）从37%提升至48%，表明分割轮廓一致性更好，异常值误差更少。
• 在U-Net、PSPNet与MobileNetV2上，SI（分割指数）提升16–22%，证实了运动追踪中时间一致性的增强。
• 相比单任务基线模型，多任务学习设置使心尖点检测与平面分类准确率提升超过10%（98.25% vs. 87.13%）。
• TAN在Tesla P40 GPU上实现52 fps推理速度，在CPU上相比U-Net与PSPNet实现20倍以上加速，展现出适用于临床部署的强实时效率。