[论文解读] Single- and Multi-Task Architecture for Surgical Workflow at M2CAI 2016

Andru Putra Twinanda, Didier Mutter+3 more|arXiv (Cornell University)|Oct 27, 2016

Surgical Simulation and Training被引用 3

一句话总结

该论文提出了一种基于LSTM和HMM进行时间建模的单任务与多任务深度学习架构，用于胆囊切除术视频中的手术阶段识别。基于LSTM的方法在强制执行时间约束方面优于HMM，在M2CAI 2016手术流程挑战数据集上实现了更高的识别准确率。

ABSTRACT

The surgical workflow challenge at M2CAI 2016 consists of identifying 8 surgical phases in cholecystectomy procedures. Here, we propose to use deep architectures that are based on our previous work where we presented several architectures to perform multiple recognition tasks on laparoscopic videos. In this technical report, we present the phase recognition results using two architectures: (1) a single-task architecture designed to perform solely the surgical phase recognition task and (2) a multi-task architecture designed to perform jointly phase recognition and tool presence detection. On top of these architectures we propose to use two different approaches to enforce the temporal constraints of the surgical workflow: (1) HMM-based and (2) LSTM-based pipelines. The results show that the LSTM-based approach is able to outperform the HMM-based approach and also to properly enforce the temporal constraints into the recognition process.

研究动机与目标

• 为解决使用深度学习识别胆囊切除术中8个手术阶段的挑战。
• 探究联合学习阶段识别与器械存在检测是否能提升性能。
• 通过序列建模技术在手术阶段识别中强制执行时间一致性。
• 比较基于HMM和基于LSTM的流水线在时间约束强制执行方面的有效性。

提出的方法

• 提出一种仅专注于手术阶段识别的单任务架构。
• 引入一种多任务架构，联合执行阶段识别与器械存在检测。
• 采用基于HMM的流水线来建模手术流程中的时间依赖性。
• 使用基于LSTM的流水线来捕捉视频序列中的长程时间动态。
• 在深度神经网络特征之上应用HMM和LSTM流水线进行时间建模。
• 在包含腹腔镜胆囊切除术视频的M2CAI 2016手术流程数据集上训练并评估模型。

实验结果

研究问题

• RQ1 与单任务学习相比，多任务架构是否能提升手术阶段识别性能？
• RQ2 联合学习阶段识别与器械存在检测是否能增强时间建模？
• RQ3 在手术阶段识别中，基于LSTM的时间建模流水线是否优于基于HMM的流水线？
• RQ4 HMM和LSTM流水线在手术流程中强制执行时间约束的效率如何？
• RQ5 时间建模对腹腔镜视频分析中识别准确率的影响是什么？

主要发现

• 基于LSTM的方法在识别手术阶段方面优于基于HMM的方法。
• LSTM流水线在手术流程识别过程中有效强制执行了时间约束。
• 联合学习阶段识别与器械存在检测的多任务架构表现出更优的性能。
• 单任务架构取得了强劲的结果，但多任务版本进一步提升了识别准确率。
• 通过LSTM进行时间建模可使视频序列中的阶段预测更加连贯和准确。
• 结果表明，基于LSTM时间建模的深度学习在手术流程分析中是有效的。