[论文解读] Tool Detection and Operative Skill Assessment in Surgical Videos Using Region-Based Convolutional Neural Networks

Amy Jin, Serena Yeung+5 more|arXiv (Cornell University)|Feb 24, 2018

Surgical Simulation and Training参考文献 19被引用 42

一句话总结

本文提出基于区域的CNN方法（Faster R-CNN）来检测并定位真实世界腹腔镜视频中的手术工具，构建一个新的工具定位数据集，并使用工具指标来评估外科手术表现，包括符合 GOALS 的反馈。

ABSTRACT

Five billion people in the world lack access to quality surgical care. Surgeon skill varies dramatically, and many surgical patients suffer complications and avoidable harm. Improving surgical training and feedback would help to reduce the rate of complications, half of which have been shown to be preventable. To do this, it is essential to assess operative skill, a process that currently requires experts and is manual, time consuming, and subjective. In this work, we introduce an approach to automatically assess surgeon performance by tracking and analyzing tool movements in surgical videos, leveraging region-based convolutional neural networks. In order to study this problem, we also introduce a new dataset, m2cai16-tool-locations, which extends the m2cai16-tool dataset with spatial bounds of tools. While previous methods have addressed tool presence detection, ours is the first to not only detect presence but also spatially localize surgical tools in real-world laparoscopic surgical videos. We show that our method both effectively detects the spatial bounds of tools as well as significantly outperforms existing methods on tool presence detection. We further demonstrate the ability of our method to assess surgical quality through analysis of tool usage patterns, movement range, and economy of motion.

研究动机与目标

• 在真实世界的腹腔镜视频中实现外科手术器械的检测、分类和空间定位的自动化。
• 创建并发布一个数据集（m2cai16-tool-locations），其中包含工具的边界框。
• 使分析工具使用模式和运动指标成为可能，以评估外科手术表现。
• 证明空间检测能够在帧级工具存在检测中提升并支持性能评估。

提出的方法

• 使用具有 VGG-16 基础网络的 Faster R-CNN 来检测七种外科工具。
• 先在 ImageNet 上进行预训练，然后在 m2cai16-tool-locations 上微调，以实现工具的空间定位。
• 用 IoU 基于锚点训练区域建议网络，并采用将分类和边界框回归两部分损失结合在一起的损失函数。
• 将空间检测转换为帧级存在以便在 m2cai16-tool 上进行比较。
• 以每类的平均精度和平均精度均值（mAP）进行评估。
• 在 5 fps 的实时检测并从工具轨迹和使用模式提取性能指标。

实验结果

研究问题

• RQ1 区域基的 CNN 是否能够在真实世界的腹腔镜视频中对手术工具进行准确定位？
• RQ2 空间工具定位是否提升了帧级存在检测在与以往方法相比的性能？
• RQ3 自动化工具定位是否能够实现可靠、客观的外科技能和技巧评估？
• RQ4 从工具使用中得出的哪些定性与定量指标与专家的 GOALS 评分相关？

主要发现

• 模型在七种器械的空间工具定位上达到 mAP 为 63.1。
• 帧级工具存在检测达到 mAP 为 81.8，显著优于此前 Tool Presence Detection Challenge 的结果。
• 空间定位使分析工具使用模式、运动范围和运动经济性成为可能，与基于 GOALS 的评估相关。
• Q1–Q4：空间工具检测在遮挡与不同角度下仍然稳健，尽管某些工具（如灌注器 irrigator）由于形状歧义和使用模式显示较低的 AP。
• 该方法在标准 GPU 硬件上以 5 fps 实时运行。
• 研究首次公开发布了 m2cai16-tool-locations，包含用于空间定位的 2532 帧标注。