[论文解读] Unsupervised identification of surgical robotic actions from small non homogeneous datasets

Daniele Meli, Paolo Fiorini|arXiv (Cornell University)|May 18, 2021

Surgical Simulation and Training参考文献 49被引用 17

一句话总结

该论文提出了一种新颖的无监督算法，用于在小规模、非同质的dVRK环转移任务数据集中，结合运动学与语义视觉特征，识别外科手术机器人动作。该方法通过几何特征提取和鲁棒聚类，在噪声、短时动作和可变手术流程下仍能实现显著优于现有工作的性能，F1得分达到58%，远超先前工作的24%。

ABSTRACT

Robot-assisted surgery is an established clinical practice. The automatic identification of surgical actions is needed for a range of applications, including performance assessment of trainees and surgical process modeling for autonomous execution and monitoring. However, supervised action identification is not feasible, due to the burden of manually annotating recordings of potentially complex and long surgical executions. Moreover, often few example executions of a surgical procedure can be recorded. This paper proposes a novel fast algorithm for unsupervised identification of surgical actions in a standard surgical training task, the ring transfer, executed with da Vinci Research Kit. Exploiting kinematic and semantic visual features automatically extracted from a very limited dataset of executions, we are able to significantly outperform state-of-the-art results on a dataset of non-expert executions (58\% vs. 24\% F1-score), and improve performance in the presence of noise, short actions and non-homogeneous workflows, i.e. non repetitive action sequences.

研究动机与目标

• 解决小规模、非同质外科数据集中缺乏可扩展、准确的无监督动作识别方法的问题。
• 克服现有方法在处理短时动作、噪声数据和可变手术流程方面的局限性。
• 通过结合运动学与语义视觉特征，实现在无需人工标注情况下的鲁棒动作识别。
• 提升在具有解剖结构与手术流程多样性的实际外科训练数据上的性能。

提出的方法

• 从dVRK机器人轨迹中提取16个运动学特征，包括末端执行器位置、姿态（四元数）和夹持器角度。
• 通过颜色分割和基于RANSAC的形状识别方法，从RGB-D视频帧中自动检测几何特征（如环/顶针位置、基座中心、环半径）。
• 采用两阶段方法：首先通过一种新型分割方法识别执行轨迹中的变化点；其次使用k-NN分类法对轨迹段进行聚类，特征向量为混合特征。
• 将运动学与语义视觉特征（如环位置、顶针占用情况）组合成特征数组，以提升动作分类的鲁棒性。
• 采用k=21的k-NN分类以增强鲁棒性，针对每种动作类型定制特征数组（如move(A,center,C)对应[f1,f2,f3]）。
• 通过减少对计算量较大的方法（如持久性分析和动态时间规整）的依赖，优化计算效率。

实验结果

研究问题

• RQ1 能否在具有可变手术流程的小规模、非同质外科数据集中，有效实现无监督动作识别？
• RQ2 与仅依赖运动学的方法相比，引入语义视觉特征在多大程度上提升了动作识别的准确性？
• RQ3 该方法在短时动作、噪声数据和罕见动作序列上的泛化能力如何？
• RQ4 该算法能否实现实时性能，适用于临床和训练应用？

主要发现

• 所提方法在仅含四次执行的非同质数据集上实现了58%的F1得分，显著优于当前最先进水平（24% F1得分）。
• 对于具有挑战性的“提取”动作，该方法实现了77%的F1得分和100%的精确率，而先前工作仅为12.5%的F1得分。
• 尽管该动作在整个数据集中仅出现五次，方法仍将“move(A,center,C)”的F1得分提升至40%（先前工作为28.57%）。
• 算法将每段执行的计算时间减少至0.45秒（最大0.58秒），优于先前方法在更快速硬件上最高达5秒的处理时间。
• 语义视觉特征的引入补偿了运动学特征的可变性，即使在存在噪声和短时动作的情况下，也能实现鲁棒分类。
• 在包含10次执行、含低频运动学噪声的数据集上，性能与干净数据集相当，证明了方法的鲁棒性。