[论文解读] Robotic Sewing and Knot Tying for Personalized Stent Graft Manufacturing

Yang Hu, Lin Zhang+2 more|arXiv (Cornell University)|Mar 22, 2018

Anatomy and Medical Technology参考文献 15被引用 3

一句话总结

本文提出一种基于视觉引导的机器人缝纫系统，采用定制双臂结构与闭环视觉伺服控制，实现个性化支架移植物的自动化、高精度缝纫。系统实现亚毫米级缝纫精度（2–5 mm），并通过创新的线缆操作装置实现连续单手结打结，显著提升了相较于人工或传统自动化方法的可靠性。

ABSTRACT

This paper presents a versatile robotic system for sewing 3D structured object. Leveraging on using a customized robotic sewing device and closed-loop visual servoing control, an all-in-one solution for sewing personalized stent graft is demonstrated. Stitch size planning and automatic knot tying are proposed as the two key functions of the system. By using effective stitch size planning, sub-millimetre sewing accuracy is achieved for stitch sizes ranging from 2mm to 5mm. In addition, a thread manipulator for thread management and tension control is also proposed to perform successive knot tying to secure each stitch. Detailed laboratory experiments have been performed to access the proposed instruments and allied algorithms. The proposed framework can be generalised to a wide range of applications including 3D industrial sewing, as well as transferred to other clinical areas such as surgical suturing.

研究动机与目标

• 解决用于血管内动脉瘤修复的个性化支架移植物手工制造成本高、周期长的问题。
• 克服现有自动化缝纫系统在平面表面、特定缝纫类型受限，或因缝针操作问题导致成功率低的局限性。
• 开发一种多功能自动化机器人系统，可在复杂三维解剖结构（如支架移植物）上执行多样缝纫任务——包括直线缝合与打结。
• 通过实现自动化、可重复的打结操作，提升支架移植物制造过程中的可靠性与一致性，以固定每一针。
• 将该系统推广至更广泛的应用领域，如三维工业缝纫与微创手术缝合。

提出的方法

• 双臂机器人系统结合 ABB YuMi® 机器人用于全局定位，以及定制机器人缝纫装置用于局部缝针操作。
• 采用基于 RGBD 深度感知的闭环视觉伺服控制，实现实时、精确的缝纫装置相对于目标织物的定位。
• 轨迹规划算法可调节缝针路径与缝针尺寸（2–5 mm），在不同缝针尺寸下实现亚毫米级精度。
• 专用线缆操作装置集成力传感器，实现无需剪线的连续单手结打结，确保张力一致与结的牢固性。
• 缝纫装置采用两端带针的弯曲缝针，线材固定于中心，消除了传统缝针持针器系统中常见的针掉落风险。
• 系统采用无标记跟踪与深度相机反馈（640×480 分辨率）引导缝纫，未来可升级至更高分辨率传感器。

实验结果

研究问题

• RQ1 基于视觉伺服控制与定制硬件，机器人系统能否在缝纫如支架移植物等三维结构物体时实现亚毫米级精度？
• RQ2 单一机器人系统能否在复杂解剖移植物上执行多种缝纫任务——包括不同尺寸的直线缝合与连续打结？
• RQ3 集成力传感器的线缆操作装置如何提升支架移植物制造中自动化打结的可靠性与一致性？
• RQ4 当前深度感知与视觉反馈在机器人缝纫中的关键局限性是什么？如何通过系统设计与硬件升级加以缓解？
• RQ5 该机器人缝纫框架在多大程度上可推广至其他临床应用，如手术缝合或工业三维织物缝纫？

主要发现

• 系统在缝针尺寸 2 mm 至 5 mm 范围内均实现亚毫米级缝纫精度，证明了在三维结构物体缝纫中具有高精度。
• 定制缝纫装置实现可靠的针具操作，平均切换时间仅为 16 秒，相比传统缝针持针器方法显著降低了针掉落风险。
• 线缆操作装置成功实现无需剪线的连续单手结打结，可对每针实现牢固、连续的结固定。
• 系统在支架移植物原型上成功自主执行直线缝合与打结操作，结果与商用手工制作移植物相当。
• 识别出因弹性线材与非最优拉力方向导致的结紧度不足问题；然而，通过优化打结运动学与硬件升级，系统性能预期将进一步提升。
• 基于 RGBD 的视觉伺服控制可实现精确的设备定位，但点云深度分辨率与噪声仍为挑战，未来可通过采用更高分辨率相机予以改善。