[论文解读] Real-time Teaching Cues for Automated Surgical Coaching

Anand Malpani, S. Swaroop Vedula+3 more|arXiv (Cornell University)|Apr 24, 2017

Surgical Simulation and Training参考文献 30被引用 6

一句话总结

本文提出了一种基于VR模拟的实时虚拟教练框架，用于机器人手术训练，在达芬奇针穿刺任务中为学习者提供情境相关的教学提示，以指导其操作。该系统采用三种教练模式——手把手式、辅助式和自主式，并整合图形反馈与视频示范，与无指导练习相比，在关键性能指标（如针尖抓握方向）上显示出统计学上显著的改善。

ABSTRACT

With introduction of new technologies in the operating room like the da Vinci Surgical System, training surgeons to use them effectively and efficiently is crucial in the delivery of better patient care. Coaching by an expert surgeon is effective in teaching relevant technical skills, but current methods to deliver effective coaching are limited and not scalable. We present a virtual reality simulation-based framework for automated virtual coaching in surgical education. We implement our framework within the da Vinci Skills Simulator. We provide three coaching modes ranging from a hands-on teacher (continuous guidance) to a handsoff guide (assistance upon request). We present six teaching cues targeted at critical learning elements of a needle passing task, which are shown to the user based on the coaching mode. These cues are graphical overlays which guide the user, inform them about sub-par performance, and show relevant video demonstrations. We evaluated our framework in a pilot randomized controlled trial with 16 subjects in each arm. In a post-study questionnaire, participants reported high comprehension of feedback, and perceived improvement in performance. After three practice repetitions of the task, the control arm (independent learning) showed better motion efficiency whereas the experimental arm (received real-time coaching) had better performance of learning elements (as per the ACS Resident Skills Curriculum). We observed statistically higher improvement in the experimental group based on one of the metrics (related to needle grasp orientation). In conclusion, we developed an automated coach that provides real-time cues for surgical training and demonstrated its feasibility.

研究动机与目标

• 解决机器人手术训练中缺乏可扩展的专家级指导的问题。
• 开发一种自动化、实时的教练系统，通过VR外科模拟提供针对性反馈。
• 评估自动化教练在提升机器人辅助针穿刺术技术技能习得方面的有效性。
• 探索不同教练模式，以根据学习者熟练程度平衡干预强度。
• 证明自动化反馈在学习成果上的可行性与影响。

提出的方法

• 该框架使用任务进度管理器，在基于H3DAPI的VR模拟沙盒中实时追踪学习者的表现。
• 实现三种教练模式：持续指导（手把手式）、按需协助（辅助式）和自主学习。
• 基于缺陷指标生成六个情境相关的教学提示，包括视觉叠加和正确技术的视频示范。
• 计算缺陷指标（如抓握方向偏差和针尖组织作用力）以识别表现不佳的情况。
• 系统记录性能数据以供分析和反馈分发，当性能阈值被超越时触发提示。
• 该框架使用达芬奇技能模拟器™在针穿刺任务中实现并评估。

实验结果

研究问题

• RQ1 与独立练习相比，自动化实时教练是否能改善机器人手术模拟中的学习成果？
• RQ2 不同教练模式（手把手式、辅助式、自主式）如何影响学习者的表现与技能习得？
• RQ3 针对特定缺陷的提示在提升技术技能方面，与运动效率指标相比，效果如何？
• RQ4 实时反馈是否能带来更好的理解与感知到的改善？
• RQ5 自动化教练能否转化为关键手术任务学习要素的可测量提升？

主要发现

• 接受实时教练的实验组在抓握方向偏差方面相比对照组表现出统计学上显著的改善（p = 0.04）。
• 尽管运动效率较低，实验组在符合ACS住院医师技能课程定义的学习要素上表现出更高的提升。
• 参与者在研究后的问卷调查中报告了对反馈的高度理解以及感知到的性能改善。
• 对照组在三次重复后表现出更好的运动效率，表明教练训练中存在质量与速度之间的权衡。
• 效应量（Cohen’s d）显示，实验组在关键缺陷指标上改善更大，其中抓握方向偏差的改善最为显著（d = 0.04）。
• 本研究证实了在VR外科模拟中实现自动化、情境感知教练的可行性，具有可扩展性，并可整合进正式培训课程。