[论文解读] Repetitive Motion Estimation Network: Recover cardiac and respiratory signal from thoracic imaging
本文提出重复运动估计网络（RMEN），一种深度学习模型，仅通过部分相位边界标注即可从胸部 fluoroscopic 视频中恢复心脏和呼吸信号。通过学习时空重复模式并将其嵌入一维运动流形，RMEN 相较基线模型将 QRS 峰值检测偏移减少了 59.3%，即使在不规则运动情况下也能通过频率滤波实现精确的信号分解。
Tracking organ motion is important in image-guided interventions, but motion annotations are not always easily available. Thus, we propose Repetitive Motion Estimation Network (RMEN) to recover cardiac and respiratory signals. It learns the spatio-temporal repetition patterns, embedding high dimensional motion manifolds to 1D vectors with partial motion phase boundary annotations. Compared with the best alternative models, our proposed RMEN significantly decreased the QRS peaks detection offsets by 59.3%. Results showed that RMEN could handle the irregular cardiac and respiratory motion cases. Repetitive motion patterns learned by RMEN were visualized and indicated in the feature maps.
研究动机与目标
- 从胸部 fluoroscopic 影像中恢复心脏和呼吸运动信号，而无需完整的运动标注。
- 学习器官运动中的时空重复模式，以实现运动流形嵌入。
- 在将运动模式嵌入一维信号后，通过频率滤波实现精确的信号分解。
- 在跳过周期或屏息等不规则运动场景中，提高运动相位边界检测的准确性。
- 通过估计运动而无需外部监测设备或植入标记，为影像引导介入治疗提供解决方案。
提出的方法
- 模型使用带有最大池化的 2D 卷积编码器，从视频帧中提取空间特征。
- 两层堆叠的 ConvLSTM 处理由编码后的时序序列，以建模运动动态。
- 3D 卷积层在通道间融合特征，以整合时间上下文信息。
- 全连接层配合 dropout (0.5) 从展平后的特征回归预测的运动相位，使用均方误差损失。
- 通过多次前向传播的中值预测输出一维相位曲线，以降低方差。
- 基于生理频率范围（分别为 0.5–2 Hz 和 0.2–0.33 Hz），使用零相移带通和低通滤波器分离心脏和呼吸信号。
实验结果
研究问题
- RQ1深度学习模型能否仅通过部分相位边界标注，从 fluoroscopic 视频中恢复心脏和呼吸运动信号？
- RQ2该模型能否学习并将其重复运动流形嵌入一维信号，以支持下游信号分解？
- RQ3与 LSTM、SVR 和基于密度的方法相比，所提出的 RMEN 模型在 QRS 峰值检测中的准确性如何？
- RQ4该模型能否处理如跳过心脏周期或屏息等不规则运动模式？
- RQ5该模型学习到的时空模式是什么？这些模式在解剖学运动方面是否可解释？
主要发现
- RMEN 相较最佳替代模型将 QRS 峰值检测偏移减少了 59.3%，在测试集上的偏移为 0.88 帧。
- 该模型在测试集上实现了真阴性率 3 和 27 个假阳性，优于 PCA+LSTM（9 和 72）与 PCA+SVR（5 和 80）。
- 无监督方法 DensityFlow 的偏移最高（3.7 帧），假阳性率最高（96），表明性能较差。
- Conv3D 层的可视化特征图清晰显示出对应于心脏（冠状动脉）和呼吸（膈肌）运动的重复模式。
- 即使在运动不规则的情况下，该模型也能通过一维嵌入后的频率滤波成功分解心脏和呼吸信号。
- 该方法无需 ECG 监测器或植入标记即可实现运动信号恢复，支持动态冠状动脉路网导航等应用。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。