[论文解读] Weakly Supervised Convolutional LSTM Approach for Tool Tracking in Laparoscopic Videos

Chinedu Innocent Nwoye, Didier Mutter+2 more|arXiv (Cornell University)|Dec 4, 2018

Surgical Simulation and Training参考文献 28被引用 6

一句话总结

本文提出一种弱监督的ConvLSTM方法，仅使用二值存在标注即可实现腹腔镜视频中手术器械的跟踪，无需昂贵的空间边界框或分割标注。通过利用ConvLSTM对定位热图进行时间平滑，实现空间-时间一致性，该方法相比完全监督基线模型，MOTA提升12.6%，定位准确率提高13.9%，工具存在检测的mAP提升5.0%。

ABSTRACT

Purpose: Real-time surgical tool tracking is a core component of the future intelligent operating room (OR), because it is highly instrumental to analyze and understand the surgical activities. Current methods for surgical tool tracking in videos need to be trained on data in which the spatial positions of the tools are manually annotated. Generating such training data is difficult and time-consuming. Instead, we propose to use solely binary presence annotations to train a tool tracker for laparoscopic videos. Methods: The proposed approach is composed of a CNN + Convolutional LSTM (ConvLSTM) neural network trained end-to-end, but weakly supervised on tool binary presence labels only. We use the ConvLSTM to model the temporal dependencies in the motion of the surgical tools and leverage its spatio-temporal ability to smooth the class peak activations in the localization heat maps (Lh-maps). Results: We build a baseline tracker on top of the CNN model and demonstrate that our approach based on the ConvLSTM outperforms the baseline in tool presence detection, spatial localization, and motion tracking by over 5.0%, 13.9%, and 12.6%, respectively. Conclusions: In this paper, we demonstrate that binary presence labels are sufficient for training a deep learning tracking model using our proposed method. We also show that the ConvLSTM can leverage the spatio-temporal coherence of consecutive image frames across a surgical video to improve tool presence detection, spatial localization, and motion tracking. keywords: Surgical workflow analysis, tool tracking, weak supervision, spatio-temporal coherence, ConvLSTM, endoscopic videos

研究动机与目标

• 为解决手术视频分析中稀疏且昂贵的空间标注问题，通过仅使用二值存在标签实现训练。
• 在不依赖完全监督定位数据的前提下，提升腹腔镜视频中手术器械跟踪的性能。
• 利用视频帧间的时间一致性，在弱监督设置下增强检测、定位和轨迹平滑性能。
• 开发一种完全端到端可训练的模型，集成弱监督下的检测、定位与跟踪。

提出的方法

• 一种全卷积神经网络架构结合CNN主干网络与ConvLSTM，用于建模腹腔镜视频序列中的时空依赖性。
• 模型通过仅使用图像级二值标签（指示器械是否存在）进行端到端训练，无需任何边界框或分割标注。
• 从最后一层激活生成定位热图（Lh-maps），ConvLSTM通过时间维度对这些热图进行优化，以实现更平滑和精确的空间定位。
• ConvLSTM通过在连续帧之间传播特征表示，学习时间一致性，从而增强检测鲁棒性与轨迹一致性。
• 在Cholec80数据集上以弱监督设置评估模型性能，采用MOTA、平均定位准确率和存在检测mAP作为评价指标。
• 探索了一种变体架构（R+CL+C），其中时间优化发生在定位之前，通过保留特征图中的语义一致性，实现更优性能。

实验结果

研究问题

• RQ1 仅使用二值存在标注而无任何空间监督，深度学习模型能否在腹腔镜视频中实现鲁棒的手术器械跟踪？
• RQ2 在弱监督设置下，ConvLSTM在多大程度上能有效利用时间一致性来提升定位与跟踪性能？
• RQ3 时间优化（ConvLSTM）与定位（分类头）的顺序是否影响最终的跟踪与定位准确率？
• RQ4 该模型能否在不重新训练的情况下，泛化到不同帧率（如从1fps到25fps）？
• RQ5 由弱监督模型生成的定位热图在多大程度上能近似真实工具边界，或可支持实例分割任务？

主要发现

• 所提出的基于ConvLSTM的方法相比基线模型，MOTA提升12.6%，表明在弱监督设置下多目标跟踪性能显著提升。
• 定位准确率提高13.9%，表明模型仅凭二值标签即可更准确地识别手术器械的空间边界。
• 工具存在检测的mAP提升5.0%，表明在帧间检测工具存在的可靠性显著增强。
• R+CL+C架构优于其他配置，证实先进行时间优化再进行定位可更好地保留空间语义，从而提升性能。
• 模型在不同帧率间具有良好的泛化能力，即使在1fps数据上训练，也能成功在25fps视频中跟踪器械，表明具备强大的时间泛化能力。
• 定性结果表明，定位热图能生成弱但合理的工具尖端分割，暗示未来可拓展至实例分割任务。