[论文解读] Toward Personalized Training and Skill Assessment in Robotic Minimally Invasive Surgery

Mahtab J. Fard, Sattar Ameri+1 more|arXiv (Cornell University)|Oct 23, 2016

Surgical Simulation and Training参考文献 10被引用 3

一句话总结

本文提出了一种基于形状的、支持动态时间规整（DTW）的k-NN框架，用于机器人微创手术（RMIS）中自动化、个性化的技能评估与实时反馈。通过直接分析未经大量预处理的原始运动学时间序列数据，该方法在缝合任务中达到82%的准确率，在针传递任务中达到70%，在打结任务中达到85%，在极少参数调优的情况下性能优于或匹配现有最先进方法，同时支持在训练过程中为外科医生提供在线性能反馈。

ABSTRACT

Despite the immense technology advancement in the surgeries the criteria of assessing the surgical skills still remains based on subjective standards. With the advent of robotic-assisted surgery, new opportunities for objective and autonomous skill assessment is introduced. Previous works in this area are mostly based on structured-based method such as Hidden Markov Model (HMM) which need enormous pre-processing. In this study, in contrast with them, we develop a new shaped-based framework for automatically skill assessment and personalized surgical training with minimum parameter tuning. Our work has addressed main aspects of skill evaluation; develop gesture recognition model directly on temporal kinematic signal of robotic-assisted surgery, and build automated personalized RMIS gesture training framework which . We showed that our method, with an average accuracy of 82% for suturing, 70% for needle passing and 85% for knot tying, performs better or equal than the state-of-the-art methods, while simultaneously needs minimum pre-processing, parameter tuning and provides surgeons with online feedback for their performance during training.

研究动机与目标

• 开发一种客观、自动化且个性化的外科技能评估框架，用于机器人微创手术（RMIS），以克服主观、基于专家评价的局限性。
• 通过比较新手表现与专家基准，利用时间序列相似性，实现实时在线反馈，支持外科训练中的即时干预。
• 通过直接使用基于形状的相似性度量对原始运动学信号进行分类，减少对复杂预处理和大量参数调优的依赖。
• 通过识别每位外科医生需要改进的具体外科动作，支持个性化训练。
• 通过实时动作识别，为半自主机器人行为（如自动摄像控制）的发展奠定基础。

提出的方法

• 该方法使用动态时间规整（DTW）计算外科动作时间序列运动学信号之间的相似性，实现对时间轴不一致信号的鲁棒比较。
• 将DTW距离作为输入，输入至k-最近邻（k-NN）分类器，以将新动作归类到预定义的外科任务类别中。
• 该框架直接基于原始运动学数据运行，避免了特征提取，降低了预处理复杂度。
• 生成混淆矩阵热力图，用于对比新手与专家外科医生的表现，识别出性能存在差异的具体动作。
• 通过检测外科医生的动作与专家模式的偏离，实现实时增强反馈。
• 该方法依赖于预定义的外科动作词典（表2）和专家标注的真实标签以供训练。

实验结果

研究问题

• RQ1 仅使用RMIS的原始运动学数据，基于形状的时间序列分类方法是否能在外科动作识别中实现高准确率？
• RQ2 此类方法是否能通过将新手表现与专家基准进行比较，实现实时、个性化的训练反馈？
• RQ3 与现有的HMM方法和基于特征的方法相比，该DTW-kNN方法在准确率和计算简洁性方面表现如何？
• RQ4 新手外科医生在哪些关键动作上表现不佳，且这些动作是否可系统性地识别？
• RQ5 该框架在多大程度上可支持半自主机器人手术系统的发展？

主要发现

• 所提出的框架在缝合任务中平均准确率达82%，在针传递任务中为70%，在打结任务中为85%，表明其在真实RMIS任务中具有强大性能。
• 该方法在极少预处理和参数调优的情况下，性能优于或匹配现有最先进方法。
• 混淆矩阵热力图显示，新手外科医生在特定动作上需要更多训练，例如缝合中的G4、G6和G3，以及针传递中的大多数动作。
• 打结是最简单的任务，仅G12需要新手进行显著的再训练。
• 结果表明，当前的全局外科动作词典可能需要修订，以支持通用的外科语言。
• 本研究强调了准确真实标签的关键作用，因为分类性能高度依赖于专家标注标签的质量。