[论文解读] Real-time image-based instrument classification for laparoscopic surgery

Sebastian Bodenstedt, Antonia Ohnemus+7 more|arXiv (Cornell University)|Aug 1, 2018

Robotics and Sensor-Based Localization参考文献 9被引用 8

一句话总结

本论文提出一种基于图像的实时方法，用于检测和分类腹腔镜手术器械。该方法采用两阶段流程：首先，通过GPU加速的随机森林算法进行像素级分割，生成器械候选区域的边界框；其次，利用多模态特征（色调、饱和度、梯度、SURF）的级联随机森林对每个边界框进行分类。该系统在实时腹腔镜视频中对自动检测到的器械实现了80%的检测率和49%的分类准确率。

ABSTRACT

During laparoscopic surgery, context-aware assistance systems aim to alleviate some of the difficulties the surgeon faces. To ensure that the right information is provided at the right time, the current phase of the intervention has to be known. Real-time locating and classification the surgical tools currently in use are key components of both an activity-based phase recognition and assistance generation. In this paper, we present an image-based approach that detects and classifies tools during laparoscopic interventions in real-time. First, potential instrument bounding boxes are detected using a pixel-wise random forest segmentation. Each of these bounding boxes is then classified using a cascade of random forest. For this, multiple features, such as histograms over hue and saturation, gradients and SURF feature, are extracted from each detected bounding box. We evaluated our approach on five different videos from two different types of procedures. We distinguished between the four most common classes of instruments (LigaSure, atraumatic grasper, aspirator, clip applier) and background. Our method succesfully located up to 86% of all instruments respectively. On manually provided bounding boxes, we achieve a instrument type recognition rate of up to 58% and on automatically detected bounding boxes up to 49%. To our knowledge, this is the first approach that allows an image-based classification of surgical tools in a laparoscopic setting in real-time.

研究动机与目标

• 通过识别当前使用的手术器械，实现实时、上下文感知的腹腔镜手术辅助。
• 解决不依赖标记或预定义模型的器械类型识别挑战，仅使用内窥镜图像。
• 开发一种鲁棒的实时系统，即使在遮挡、运动模糊和光照变化条件下也能检测和分类器械。
• 在两种手术操作的多样化腹腔镜视频数据上评估该方法，确保临床相关性。

提出的方法

• 通过在阈值化灰度图像上沿对角线从角点到中心的遍历方式，检测并遮罩圆形视野边界，预处理腹腔镜图像。
• 使用多光谱特征（RGB、HSV、LAB、对立色、梯度）的GPU优化像素级随机森林分割，识别器械候选区域。
• 通过形态学闭运算优化分割结果，并将主方向相近的轮廓合并为连通区域。
• 从最大的五个轮廓中提取轴对齐边界框，并将结果传递至分类阶段。
• 使用两级随机森林分类器级联识别器械类型，输入特征包括色调和饱和度的10-bin直方图、梯度幅值以及主成分分析降维后的SURF特征。
• 在带有标注器械边界框和器械类型的标注腹腔镜视频上训练系统。

实验结果

研究问题

• RQ1 是否能够实现一种实时、基于图像的系统，无需外部标记或预训练3D模型，即可检测和分类腹腔镜器械？
• RQ2 在真实手术条件下，多特征随机森林方法在区分外观相似的器械（如LigaSure、无创伤钳、吸引器）方面的有效性如何？
• RQ3 当在自动检测的边界框上进行分类时，系统的性能如何？与人工绘制的边界框相比有何差异？
• RQ4 在真实腹腔镜视频中，遮挡、运动模糊和光照变化对器械检测与分类准确率的影响如何？

主要发现

• 该系统在两个数据集上成功检测到80%的所有器械，其中Set 1和Set 2的检测率分别为94%和85%。
• 在人工绘制的边界框上，器械类型分类准确率在Set 1达到58%，Set 2达到52%，表明当检测准确时，识别潜力较高。
• 在自动检测的边界框上进行分类时，系统在Set 1和Set 2中分别实现了49%和48%的准确率，证实了其在实时部署中的鲁棒性。
• 最常见的误分类发生在具有相似杆部的器械之间（如LigaSure、无创伤钳、吸引器），尤其是在光照不良或部分遮挡条件下。
• 运动模糊、器械重叠以及器械尖端不完全可见是主要错误来源，常导致检测合并或误报。
• 系统检测速度为22.2帧/秒（每帧45ms），分类速度为32.5帧/秒（每帧30ms），满足临床应用的实时性要求。