[论文解读] Multi-Task Recurrent Convolutional Network with Correlation Loss for Surgical Video Analysis

Yueming Jin, Huaxia Li+5 more|arXiv (Cornell University)|Jul 13, 2019

Surgical Simulation and Training参考文献 51被引用 8

一句话总结

该论文提出 MTRCNet-CL，一种具有新颖相关性损失的多任务循环卷积网络，用于在视频中联合检测手术器械并识别手术阶段。通过共享早期特征并利用学习到的相关性损失强制预测一致性，该模型同时提升了两个任务的性能，在 Cholec80 数据集上实现了最先进的结果：器械检测的 mAP 为 89.1%，阶段识别的 F1 得分为 87.4%。

ABSTRACT

Surgical tool presence detection and surgical phase recognition are two fundamental yet challenging tasks in surgical video analysis and also very essential components in various applications in modern operating rooms. While these two analysis tasks are highly correlated in clinical practice as the surgical process is well-defined, most previous methods tackled them separately, without making full use of their relatedness. In this paper, we present a novel method by developing a multi-task recurrent convolutional network with correlation loss (MTRCNet-CL) to exploit their relatedness to simultaneously boost the performance of both tasks. Specifically, our proposed MTRCNet-CL model has an end-to-end architecture with two branches, which share earlier feature encoders to extract general visual features while holding respective higher layers targeting for specific tasks. Given that temporal information is crucial for phase recognition, long-short term memory (LSTM) is explored to model the sequential dependencies in the phase recognition branch. More importantly, a novel and effective correlation loss is designed to model the relatedness between tool presence and phase identification of each video frame, by minimizing the divergence of predictions from the two branches. Mutually leveraging both low-level feature sharing and high-level prediction correlating, our MTRCNet-CL method can encourage the interactions between the two tasks to a large extent, and hence can bring about benefits to each other. Extensive experiments on a large surgical video dataset (Cholec80) demonstrate outstanding performance of our proposed method, consistently exceeding the state-of-the-art methods by a large margin (e.g., 89.1% v.s. 81.0% for the mAP in tool presence detection and 87.4% v.s. 84.5% for F1 score in phase recognition). The code can be found on our project website.

研究动机与目标

• 解决由于复杂视觉变化和遮挡导致的手术视频分析性能低下问题。
• 利用手术器械使用与手术阶段进展之间的强临床相关性，同时提升两个任务的性能。
• 开发一个端到端的深度学习框架，联合优化器械存在性检测与手术阶段识别。
• 提出一种新颖的相关性损失，以强制两个任务之间的预测一致性，增强相互监督。
• 在不依赖后处理的情况下实现最先进性能，从而实现在临床环境中实时部署。

提出的方法

• 设计一个具有共享早期卷积层和任务特异性高层网络的多任务网络，分别用于器械检测和阶段识别。
• 在阶段识别分支中集成长短期记忆（LSTM）单元，以建模视频帧之间的时序依赖性。
• 提出一种具有可学习映射矩阵的相关性损失，以最小化两个任务在帧级别上的预测差异。
• 使用联合监督端到端训练整个网络，其中相关性损失促使不同任务之间的预测对齐。
• 简化网络结构以提升计算效率并加快推理速度，实现实时处理（单张 GPU 上每帧约 0.3 秒）。
• 使用 Cholec80 数据集进行训练与评估，该数据集为器械存在性与手术阶段提供了密集标注。

实验结果

研究问题

• RQ1 联合学习手术器械检测与阶段识别是否能够超越独立建模的性能？
• RQ2 可学习的相关性损失在强制两个高度相关的手术任务之间预测一致性方面有多有效？
• RQ3 在具有挑战性的视觉条件下，特征共享与预测相关性在多大程度上增强了手术视频分析的泛化能力？
• RQ4 所提出的方法是否能在无需后处理或额外数据增强的情况下实现最先进性能？
• RQ5 该框架是否可扩展至其他具有类似任务相关性的手术视频类型？

主要发现

• 所提出的 MTRCNet-CL 在手术器械存在性检测上达到了 89.1% 的 mAP，显著优于先前最先进方法的 81.0%。
• 在手术阶段识别方面，该模型取得了 87.4% 的 F1 得分，超越了先前最先进方法的 84.5%。
• 该方法在无需任何后处理的情况下实现高性能，证明了结合相关性损失的端到端训练的有效性。
• 相关性损失通过共享监督增强了两个任务之间的交互，从而提升了泛化能力。
• 该模型在单张 GPU 上每帧处理时间约为 0.3 秒，支持在手术室应用中实现实时部署。
• 即使在应用先验知识推理（PKI）时，该方法依然表现优异，达到 91.6% 的精确率、90.1% 的召回率和 93.3% 的准确率，优于以往结果。