[论文解读] Temporal Memory Relation Network for Workflow Recognition from Surgical Video

Yueming Jin, Yonghao Long+4 more|arXiv (Cornell University)|Mar 30, 2021

Surgical Simulation and Training参考文献 40被引用 4

一句话总结

本文提出时序记忆关系网络（TMRNet），一种端到端深度学习模型，通过非局部记忆库算子整合长时序记忆与多尺度时序卷积，显著提升外科手术流程识别性能。该方法在Cholec80数据集上达到78.9%的Jaccard分数，显著优于先前方法。

ABSTRACT

Automatic surgical workflow recognition is a key component for developing context-aware computer-assisted systems in the operating theatre. Previous works either jointly modeled the spatial features with short fixed-range temporal information, or separately learned visual and long temporal cues. In this paper, we propose a novel end-to-end temporal memory relation network (TMRNet) for relating long-range and multi-scale temporal patterns to augment the present features. We establish a long-range memory bank to serve as a memory cell storing the rich supportive information. Through our designed temporal variation layer, the supportive cues are further enhanced by multi-scale temporal-only convolutions. To effectively incorporate the two types of cues without disturbing the joint learning of spatio-temporal features, we introduce a non-local bank operator to attentively relate the past to the present. In this regard, our TMRNet enables the current feature to view the long-range temporal dependency, as well as tolerate complex temporal extents. We have extensively validated our approach on two benchmark surgical video datasets, M2CAI challenge dataset and Cholec80 dataset. Experimental results demonstrate the outstanding performance of our method, consistently exceeding the state-of-the-art methods by a large margin (e.g., 67.0% v.s. 78.9% Jaccard on Cholec80 dataset).

研究动机与目标

• 解决在具有复杂、可变时序动态的长时视频中识别外科手术流程的挑战。
• 在不破坏联合时空特征学习的前提下，整合长时序依赖关系与多尺度运动模式。
• 开发一种高效、具备实时处理能力的模型，适用于手术室临床部署。
• 实现在不同持续时间与运动模式的多样化手术阶段中准确识别。
• 提供一种可泛化的框架，可扩展至外科以外的其他医学序列数据任务。

提出的方法

• 从整个外科手术视频中预先计算长时序记忆库，并离线存储，作为持久的时序线索支持源。
• 时序变化层应用多尺度时序卷积，增强从记忆库提取的特征，以捕捉多样的运动持续时间。
• 非局部记忆库算子计算当前帧特征与记忆库特征之间的注意力权重，实现长时序上下文建模。
• 将非局部操作集成到主干网络中，使模型能够关注相关长时序线索，同时不破坏端到端的时空学习。
• 在推理过程中通过追加最新帧特征在线更新记忆库，实现实时运行且延迟极低。
• 模型采用端到端训练，无需后处理，确保实时推理速度（单张GPU上每帧约0.08秒）。

实验结果

研究问题

• RQ1 长时序记忆能否提升在具有高阶段内方差的外科视频流程识别中的准确率？
• RQ2 多尺度时序建模如何增强对外科阶段中持续时间可变动作的识别能力？
• RQ3 非局部注意力机制能否在不损害时空表征学习的前提下，有效关联当前特征与远距离历史线索？
• RQ4 外科流程识别的最优时序上下文长度是多少？性能是否在某一特定时长后趋于饱和？
• RQ5 所提方法在需要长时序建模的其他医学视频分析任务中具有多大程度的泛化能力？

主要发现

• TMRNet在Cholec80数据集上达到78.9%的Jaccard分数，显著优于先前SOTA方法（67.0%）。
• 结合后处理后，模型在Cholec80数据集上实现92.1%的精确率、91.1%的召回率与93.7%的准确率，超越优化后的SOTA结果（91.6%、90.1%、93.3%）。
• 性能在约30秒上下文长度时趋于饱和，更长的输入会引入烟雾、血液和镜头清洁等伪影噪声，导致性能轻微下降。
• 模型保持高推理速度（每帧约0.08秒），支持临床环境中的实时部署。
• 长时序记忆库仅需预先计算一次并重复使用，避免了训练过程中的冗余计算。
• 该模型在其他外科手术流程中泛化良好，且可扩展至非外科医学视频任务，如显微镜追踪与超声分析。