[论文解读] Towards Autonomous Eye Surgery by Combining Deep Imitation Learning with Optimal Control

Ji Woong Kim, Peiyao Zhang+3 more|PubMed|Nov 16, 2020

Soft Robotics and Applications被引用 8

一句话总结

该论文提出了一种混合框架，结合深度模仿学习与最优控制，以实现在视网膜微外科手术中的自主导航。该框架利用基于视觉的神经网络，从2D用户点击中预测3D目标位置，并通过微分动态规划生成安全、最优的轨迹，实现了亚毫米级精度（xy误差为0.072mm），优于人类外科医生的震颤水平（0.180mm），同时在多种眼模型及未见物体下保持了安全约束。

ABSTRACT

During retinal microsurgery, precise manipulation of the delicate retinal tissue is required for positive surgical outcome. However, accurate manipulation and navigation of surgical tools remain difficult due to a constrained workspace and the top-down view during the surgery, which limits the surgeon's ability to estimate depth. To alleviate such difficulty, we propose to automate the tool-navigation task by learning to predict relative goal position on the retinal surface from the current tool-tip position. Given an estimated target on the retina, we generate an optimal trajectory leading to the predicted goal while imposing safety-related physical constraints aimed to minimize tissue damage. As an extended task, we generate goal predictions to various points across the retina to localize eye geometry and further generate safe trajectories within the estimated confines. Through experiments in both simulation and with several eye phantoms, we demonstrate that our framework can permit navigation to various points on the retina within 0.089mm and 0.118mm in xy error which is less than the human's surgeon mean tremor at the tool-tip of 0.180mm. All safety constraints were fulfilled and the algorithm was robust to previously unseen eyes as well as unseen objects in the scene. Live video demonstration is available here: https://youtu.be/n5j5jCCelXk.

研究动机与目标

• 为解决由于俯视视角导致的深度感知有限，视网膜微外科手术中工具精确定位的挑战。
• 通过利用视觉线索自动预测目标位置与规划轨迹，减少对外科医生经验的依赖。
• 通过强制执行物理约束（如巩膜点偏移与视网膜碰撞规避）来确保手术安全。
• 从视觉数据中重建视网膜几何结构，以支持扩展任务（如血管追踪）。
• 验证系统对未见物体、眼解剖结构差异与成像条件变化的鲁棒性。

提出的方法

• 一个深度模仿学习网络从2D俯视单目视频输入和用户指定的点击中预测3D相对目标位置（距离与方向）。
• 该网络通过专家示范进行训练，将视觉输入与2D目标点击映射为3D空间预测，利用器械阴影动态作为深度线索。
• 基于微分动态规划（DDP）的最优控制框架生成平滑、安全的轨迹，以最小化工具轴偏离巩膜孔的程度。
• 通过代价函数强制执行巩膜约束，惩罚工具轴相对于巩膜孔的横向位移。
• 通过在视网膜上多个点聚合目标预测，实现视网膜几何结构的重建，从而在估计的眼部边界内实现安全导航。
• 对于血管追踪任务，通过约束轨迹保持在估计视网膜表面以上0.2mm，以防止碰撞。

实验结果

研究问题

• RQ1 深度模仿学习模型能否从单目手术视野中的2D用户点击中准确预测视网膜上的3D目标位置？
• RQ2 最优控制能否生成符合物理约束（如巩膜点偏移与视网膜碰撞）的安全、平滑轨迹？
• RQ3 在导航过程中存在未见物体（如手术器械）时，系统性能如何？
• RQ4 系统在多大程度上能从视觉数据中重建视网膜几何结构，以支持自主导航与血管追踪？
• RQ5 该框架能否在工具尖端定位精度上超越人类外科医生的震颤水平？

主要发现

• 在幻影实验中，针对视网膜上50个预设点的目标定位，系统在x方向平均导航误差为0.072mm，y方向为0.130mm。
• 当存在干扰性镊子时，导航误差仅略微上升至x方向0.089mm、y方向0.118mm，表明对未见物体具有鲁棒性。
• 眼结构估计的中心定位误差为x方向0.53mm、y方向0.084mm、z方向0.292mm，半径估计误差为0.152mm。
• 血管追踪任务的轨迹跟踪误差为x方向0.002mm、y方向0.003mm、z方向0.006mm，平均巩膜误差为0.059mm，证实了高精度与安全性。
• 所有轨迹均满足安全约束，所有任务中最大平均巩膜误差为0.704mm，远在安全限值内。
• 仿真结果表明导航误差为0.119mm，尽管条件理想化，但仍显示出实际部署的潜力。