[论文解读] Superhuman Surgical Peg Transfer Using Depth-Sensing and Deep Recurrent Neural Networks.

Minho Hwang, Brijen Thananjeyan+6 more|arXiv (Cornell University)|Dec 23, 2020

Surgical Simulation and Training参考文献 56被引用 9

一句话总结

本论文提出了一套完全自动化的系统，利用达芬奇研究套件上的深度感知与深度循环神经网络完成持钉转移任务，实现了超人类表现——成功率94.1%，平均转移时间8.1秒，优于一位经验丰富的外科住院医师（成功率93.2%，平均时间8.6秒）在最具挑战性的带交接版本中的表现。

ABSTRACT

We consider the automation of the well-known peg-transfer task from the Fundamentals of Laparoscopic Surgery (FLS). While human surgeons teleoperate robots to perform this task with great dexterity, it remains challenging to automate. We present an approach that leverages emerging innovations in depth sensing, deep learning, and Peiper's method for computing inverse kinematics with time-minimized joint motion. We use the da Vinci Research Kit (dVRK) surgical robot with a Zivid depth sensor, and automate three variants of the peg-transfer task: unilateral, bilateral without handovers, and bilateral with handovers. We use 3D-printed fiducial markers with depth sensing and a deep recurrent neural network to improve the precision of the dVRK to less than 1 mm. We report experimental results for 1800 block transfer trials. Results suggest that the fully automated system can outperform an experienced human surgical resident, who performs far better than untrained humans, in terms of both speed and success rate. For the most difficult variant of peg transfer (with handovers) we compare the performance of the surgical resident with performance of the automated system over 120 trials for each. The experienced surgical resident achieves success rate 93.2 % with mean transfer time of 8.6 seconds. The automated system achieves success rate 94.1 % with mean transfer time of 8.1 seconds. To our knowledge this is the first fully automated system to achieve superhuman performance in both speed and success on peg transfer. Supplementary material is available at this https URL

研究动机与目标

• 通过机器人技术和传感技术，实现对基本腹腔镜外科技能中持钉转移任务的自动化。
• 通过使用3D打印的标记点和深度感知技术，将机器人精度提升至1毫米以下。
• 在最复杂的带交接持钉转移变体中，实现速度与成功率均超越人类的性能表现。
• 将Peiper的逆运动学方法与深度学习相结合，实现时间最小化、灵巧的运动控制。

提出的方法

• 系统采用Zivid深度传感器和3D打印的标记点，实现对手术器械与持钉的高精度三维位姿估计。
• 深度循环神经网络处理连续的深度数据，以亚毫米精度预测器械与持钉的位置。
• 采用Peiper方法计算逆运动学，为dVRK机器人生成时间最小化的关节轨迹。
• 系统自动化了三种持钉转移变体：单侧、双侧无交接和双侧带交接。
• 通过融合深度感知数据与循环网络学习到的运动策略，实现实时控制。
• 通过1800次积木转移试验对方法进行验证，包括每位受试者120次试验，以实现与人类的直接对比。

实验结果

研究问题

• RQ1 基于深度学习的系统是否能在持钉转移任务中实现速度与成功率均超越人类的表现？
• RQ2 深度感知与循环神经网络的结合如何将机器人精度提升至1毫米以下？
• RQ3 该系统是否能在最具挑战性的带交接持钉转移变体中超越一位经验丰富的外科住院医师？
• RQ4 时间最小化的逆运动学对任务完成速度与鲁棒性有何影响？

主要发现

• 在带交接的双侧持钉转移任务中，自动化系统取得了94.1%的成功率和8.1秒的平均转移时间。
• 在相同条件下，经验丰富的外科住院医师取得了93.2%的成功率和8.6秒的平均转移时间。
• 自动化系统在成功率与速度两方面均优于人类住院医师，展现出超人类表现。
• 系统在所有任务变体中均保持了亚毫米级的精度，得益于深度感知与3D打印标记点的结合。
• 深度循环神经网络有效捕捉了器械与持钉运动的时间动态，实现了精确的实时控制。
• Peiper逆运动学的集成实现了时间最小化、平滑的关节轨迹，显著提升了任务完成速度。