[论文解读] Robotic Ultrasound Imaging: State-of-the-Art and Future Perspectives

Zhongliang Jiang, Septimiu E. Salcudeanb+1 more|arXiv (Cornell University)|Jul 8, 2023

Radiomics and Machine Learning in Medical ImagingMedicine被引用 3

一句话总结

本文综述了机器人超声成像系统（RUSS），将其分类为远程操作型与自主型，并强调机器学习与人工智能如何实现运动感知与形变感知、个性化患者的图像采集。其核心贡献在于提出“超声语言的恢复”这一概念——通过人工智能建模专家超声医师的决策过程，从而推动自主扫查与医学培训的发展。

ABSTRACT

Ultrasound (US) is one of the most widely used modalities for clinical intervention and diagnosis due to the merits of providing non-invasive, radiation-free, and real-time images. However, free-hand US examinations are highly operator-dependent. Robotic US System (RUSS) aims at overcoming this shortcoming by offering reproducibility, while also aiming at improving dexterity, and intelligent anatomy and disease-aware imaging. In addition to enhancing diagnostic outcomes, RUSS also holds the potential to provide medical interventions for populations suffering from the shortage of experienced sonographers. In this paper, we categorize RUSS as teleoperated or autonomous. Regarding teleoperated RUSS, we summarize their technical developments, and clinical evaluations, respectively. This survey then focuses on the review of recent work on autonomous robotic US imaging. We demonstrate that machine learning and artificial intelligence present the key techniques, which enable intelligent patient and process-specific, motion and deformation-aware robotic image acquisition. We also show that the research on artificial intelligence for autonomous RUSS has directed the research community toward understanding and modeling expert sonographers' semantic reasoning and action. Here, we call this process, the recovery of the "language of sonography". This side result of research on autonomous robotic US acquisitions could be considered as valuable and essential as the progress made in the robotic US examination itself. This article will provide both engineers and clinicians with a comprehensive understanding of RUSS by surveying underlying techniques.

研究动机与目标

• 为研究人员和临床医生提供机器人超声成像系统（RUSS）的技术与临床全面综述。
• 分析从远程操作型到自主型RUSS的演进过程，强调机器学习与人工智能在实现智能、解剖结构感知扫查中的作用。
• 识别开发可信、临床可部署的机器人超声医师所面临的关键挑战与未来方向，使其能与人类专家协同工作。
• 将研究社区的努力聚焦于通过人工智能理解专家超声医师的语义推理与行为——即“超声语言的恢复”。

提出的方法

• 根据控制架构将RUSS分类为远程操作型与自主型系统。
• 综述了实现实时、安全、精准扫查的关键技术，包括顺应性力控、路径规划、视觉伺服控制与表面配准。
• 整合图像分割、多模态传感与数据融合等先进技术，以应对扫查过程中组织运动与形变的挑战。
• 应用机器学习技术，包括强化学习与模仿学习，以建模专家超声医师的行为与决策过程。
• 利用仿真与体膜模型验证，在受控条件下测试自主超声图像采集的性能。
• 提出可解释人工智能框架，以解释机器人行为，提升临床医生对自主系统信任度。

实验结果

研究问题

• RQ1 先进的机器学习能否通过观察专家超声医师，实现对“超声语言”的恢复？
• RQ2 RUSS系统能否理解超声成像的物理原理及其与动态患者生理状态的相互作用？
• RQ3 RUSS能否实现实时、高可重复性的B模式、3D与4D图像采集？
• RQ4 先进传感与智能控制能否确保机器人扫查过程的安全性与可重复性？
• RQ5 多模态影像与预训练技术能否使RUSS适应个体患者的解剖与生理特征？

主要发现

• 关于RUSS的同行评审论文数量从2001年的1,020篇增长至2022年的15,500篇，反映出研究兴趣的指数级增长。
• 自主型RUSS系统正通过机器学习不断推进，尤其体现在对专家超声医师语义推理与动作序列的建模方面。
• 当前自主系统在验证方面仍严重依赖体膜或仿真环境，真实人体动态临床条件下性能有限。
• “超声语言的恢复”概念正作为关键副成果浮现，有助于提升机器人与人类超声系统的培训、评估与设计水平。
• 尽管取得进展，目前尚无完全自主的RUSS系统在真实临床环境中达到专家人类超声医师的水平。
• 可解释人工智能与以用户为中心的设计被确认为临床医生接受度与机器人系统在动态临床环境中安全整合的关键因素。