[论文解读] Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery

Yonghao Long, Jie Ying Wu+6 more|arXiv (Cornell University)|Nov 3, 2020

Multimodal Machine Learning Applications参考文献 47被引用 7

一句话总结

该论文提出MRG-Net，一种多模态关系图网络，通过分层关系图学习动态融合视觉与运动学嵌入，以提升外科手术动作识别性能。通过利用时间卷积网络和LSTM进行特征提取，并通过有向图建模跨模态关系，MRG-Net在JIGSAWS缝合任务上实现了最先进准确率（91.0%）和编辑得分（98.7%），并在自建dVRK数据集上表现出色。

ABSTRACT

Automatic surgical gesture recognition is fundamentally important to enable intelligent cognitive assistance in robotic surgery. With recent advancement in robot-assisted minimally invasive surgery, rich information including surgical videos and robotic kinematics can be recorded, which provide complementary knowledge for understanding surgical gestures. However, existing methods either solely adopt uni-modal data or directly concatenate multi-modal representations, which can not sufficiently exploit the informative correlations inherent in visual and kinematics data to boost gesture recognition accuracies. In this regard, we propose a novel online approach of multi-modal relational graph network (i.e., MRG-Net) to dynamically integrate visual and kinematics information through interactive message propagation in the latent feature space. In specific, we first extract embeddings from video and kinematics sequences with temporal convolutional networks and LSTM units. Next, we identify multi-relations in these multi-modal embeddings and leverage them through a hierarchical relational graph learning module. The effectiveness of our method is demonstrated with state-of-the-art results on the public JIGSAWS dataset, outperforming current uni-modal and multi-modal methods on both suturing and knot typing tasks. Furthermore, we validated our method on in-house visual-kinematics datasets collected with da Vinci Research Kit (dVRK) platforms in two centers, with consistent promising performance achieved.

研究动机与目标

• 为解决现有方法仅使用单模态数据或简单拼接多模态特征的局限性，这些方法未能充分挖掘机器人外科手术中视觉与运动学数据之间的深层相关性。
• 开发一种动态、在线的多模态融合框架，以捕捉视觉场景与机器人运动序列之间的联合知识与关系依赖。
• 通过分层关系图结构建模潜在特征空间中的相互依赖关系，提升外科手术动作识别的准确率与时间平滑性。
• 在公开数据集（JIGSAWS）与私有数据集（自建dVRK）上验证方法，证明其在不同外科手术平台与数据采集条件下的泛化能力。

提出的方法

• 使用时间卷积网络（TCN）与长短期记忆网络（LSTM）对视觉与运动学序列进行嵌入，以捕捉时空特征。
• 在视觉与运动学嵌入之间识别多关系表征，以建模多样化的跨模态关系。
• 分层关系图学习模块在有向图中通过节点间消息传递，动态聚合潜在空间中的多模态知识。
• 图结构支持端到端训练与基于注意力的聚合，使模型在动作识别过程中能够聚焦于显著的跨模态交互。
• 采用交叉熵损失与编辑距离损失联合训练框架，以同时优化分类准确率与预测的时间一致性。

实验结果

研究问题

• RQ1 如何有效融合机器人外科手术中的视觉与运动学数据，以在性能上超越简单的拼接或早期融合方法？
• RQ2 建模视觉与运动学嵌入之间的多关系依赖对识别准确率与时间平滑性有何影响？
• RQ3 关系图网络架构是否能够以动态方式整合多模态特征，并在不同外科手术平台与数据采集条件下实现泛化？
• RQ4 所提出的MRG-Net在标准基准如JIGSAWS与自建dVRK数据集上，相较于最先进单模态与多模态方法表现如何？

主要发现

• 在JIGSAWS缝合任务中，MRG-Net实现了91.0%的准确率与98.7%的编辑得分，相较于最佳基线模型（ResNet-18）在准确率上提升10.3个百分点，在编辑得分上提升63.6个百分点。
• 在JIGSAWS打结任务中，MRG-Net实现了87.3%的准确率与96.4%的编辑得分，展现出对单模态与多模态基线的一致性优势。
• 在自建CUHK dVRK数据集中，MRG-Net实现了91.0%的准确率与98.7%的编辑得分；在JHU dVRK数据集中，准确率为87.3%，编辑得分为96.4%，证实其在不同外科中心间的鲁棒性。
• 消融实验表明，关系图模块显著提升了性能，证实其在捕捉超越特征拼接的跨模态依赖关系方面具有关键作用。
• 模型展现出更优的时间平滑性，表现为高编辑得分，表明其在时间维度上具有稳定且一致的动作预测能力。