[论文解读] Single- and Multi-Task Architectures for Tool Presence Detection Challenge at M2CAI 2016

Andru Putra Twinanda, Didier Mutter+3 more|arXiv (Cornell University)|Oct 27, 2016

IoT and Edge/Fog Computing参考文献 2被引用 23

一句话总结

该论文评估了单任务（ToolNet）和多任务（EndoNet）深度卷积神经网络架构在腹腔镜胆囊切除术视频中手术器械存在检测中的表现。通过使用ImageNet的迁移学习并在有限数据集上微调，研究发现模型性能主要取决于训练数据量而非多任务学习，当使用更大的数据集时，mAP从52.5提升至74.2，凸显了稀有器械（如剪刀和灌注器）因数据稀缺而成为主要瓶颈。

ABSTRACT

The tool presence detection challenge at M2CAI 2016 consists of identifying the presence/absence of seven surgical tools in the images of cholecystectomy videos. Here, we propose to use deep architectures that are based on our previous work where we presented several architectures to perform multiple recognition tasks on laparoscopic videos. In this technical report, we present the tool presence detection results using two architectures: (1) a single-task architecture designed to perform solely the tool presence detection task and (2) a multi-task architecture designed to perform jointly phase recognition and tool presence detection. The results show that the multi-task network only slightly improves the tool presence detection results. In constrast, a significant improvement is obtained when there are more data available to train the networks. This significant improvement can be regarded as a call for action for other institutions to start working toward publishing more datasets into the community, so that better models could be generated to perform the task.

研究动机与目标

• 为解决M2CAI 2016年手术器械存在检测挑战，采用深度学习架构。
• 比较单任务（ToolNet）和多任务（EndoNet）CNN在腹腔镜视频中手术器械存在检测的性能。
• 探究在目标数据集中无阶段标注的情况下，联合学习手术阶段识别是否能提升手术器械检测性能。
• 评估训练数据量对模型泛化能力的影响，特别是对出现频率较低的器械。
• 探索在有限数据集上使用迁移学习和微调进行手术器械识别的可行性。

提出的方法

• 将预训练的ImageNet AlexNet作为ToolNet和EndoNet架构的主干网络进行微调。
• 将ToolNet作为单任务网络进行训练，仅使用七分类头（fc_tool）进行器械存在检测。
• 将EndoNet作为多任务网络进行训练，同时优化手术阶段识别和器械存在检测。
• 使用包含阶段和器械标注的Cholec80数据集对EndoNet和ToolNet进行预训练，尽管m2cai16-tool数据集缺乏阶段标签。
• 应用迁移学习，对随机初始化的最终层（fc_tool和fc_phase）使用较高的初始起始学习率（10⁻²），每20,000次迭代降低10倍。
• 使用每种器械的mAP（平均平均精度）进行模型评估，并对输出logits应用置信度阈值。

实验结果

研究问题

• RQ1 与单任务学习相比，结合手术阶段识别的多任务学习是否能提升器械存在检测性能？
• RQ2 训练数据集的大小如何影响器械存在检测模型的性能？
• RQ3 尽管存在领域差异，从更大的多标注数据集（Cholec80）迁移学习是否能提升在较小单标注数据集（m2cai16-tool）上的性能？
• RQ4 为何某些器械（如剪刀、灌注器）的检测准确率显著偏低？模型架构或数据增强能否缓解此问题？
• RQ5 通过引入RNN，利用视频帧的时序上下文，能在多大程度上提升帧级器械存在检测的性能？

主要发现

• 在m2cai16-tool数据集上训练的单任务ToolNet模型mAP为52.5，表明由于训练数据有限，泛化能力较差。
• 在更大的Cholec80数据集上微调的ToolNet模型mAP达到73.9，显著提升，表明数据量具有强烈影响。
• 在Cholec80数据集上训练的多任务EndoNet模型mAP最高，达到74.2，仅比单任务的ToolNet-Cholec80模型有微小提升。
• 在m2cai16-tool数据集中，稀有器械（剪刀：17.0 mAP，灌注器：12.5 mAP，夹子：43.6 mAP）的性能差距主要源于训练样本不足以及与频繁出现的器械（如抓钳）在视觉上的相似性。
• 研究结论认为，数据可得性是提升器械检测性能的更关键因素，尤其对低频次器械而言，而非多任务学习。
• 作者建议未来工作应探索使用RNN进行时序建模，以利用视频帧间的序列上下文信息，提升检测性能。