[论文解读] Towards Generalizable Surgical Activity Recognition Using Spatial Temporal Graph Convolutional Networks

Duygu Sarıkaya, Pierre Jannin|arXiv (Cornell University)|Jan 11, 2020

Human Pose and Action Recognition参考文献 49被引用 16

一句话总结

本文提出了一种新颖的时空图卷积网络（ST-GCN）方法，将手术器械关节姿态建模为动态图，以识别低层级的手术动作，在JIGSAWS缝合任务上实现了68%的平均准确率，显著优于10%的随机基线水平，并通过基于姿态的、与场景无关的表征方法在不同数据集间展现出强大的泛化能力。

ABSTRACT

Modeling and recognition of surgical activities poses an interesting research problem. Although a number of recent works studied automatic recognition of surgical activities, generalizability of these works across different tasks and different datasets remains a challenge. We introduce a modality that is robust to scene variation, and that is able to infer part information such as orientational and relative spatial relationships. The proposed modality is based on spatial temporal graph representations of surgical tools in videos, for surgical activity recognition. To explore its effectiveness, we model and recognize surgical gestures with the proposed modality. We construct spatial graphs connecting the joint pose estimations of surgical tools. Then, we connect each joint to the corresponding joint in the consecutive frames forming inter-frame edges representing the trajectory of the joint over time. We then learn hierarchical spatial temporal graph representations using Spatial Temporal Graph Convolutional Networks (ST-GCN). Our experiments show that learned spatial temporal graph representations perform well in surgical gesture recognition even when used individually. We experiment with the Suturing task of the JIGSAWS dataset where the chance baseline for gesture recognition is 10%. Our results demonstrate 68% average accuracy which suggests a significant improvement. Learned hierarchical spatial temporal graph representations can be used either individually, in cascades or as a complementary modality in surgical activity recognition, therefore provide a benchmark for future studies. To our knowledge, our paper is the first to use spatial temporal graph representations of surgical tools, and pose-based skeleton representations in general, for surgical activity recognition.

研究动机与目标

• 解决在不同任务和数据集之间进行手术活动识别时的泛化性挑战。
• 开发一种对手术场景、视角和背景变化具有鲁棒性的与场景无关的表征方法。
• 探索基于姿态的骨骼表征作为手术动作识别的补充或独立模态的可行性。
• 评估时空图表征在捕捉手术器械的分层运动和空间关系方面的有效性。
• 通过在手术视频分析中使用学习到的、分层的时空图特征，为未来研究建立基准。

提出的方法

• 通过连接不同帧中手术器械关节姿态估计结果来构建无向空间图。
• 通过连接连续帧中对应关节来形成帧间边，以建模时间轨迹。
• 使用时空图卷积网络（ST-GCN）学习分层的时空表征。
• 以视频中的2D关节坐标（X, Y）作为输入，避免依赖深度或光流信息。
• 应用多层ST-GCN，从动态演化的图结构中提取上下文和动态特征。
• 在JIGSAWS缝合数据集上采用留一用户交叉验证策略进行模型训练与评估。

实验结果

研究问题

• RQ1 基于姿态的时空图表征是否能提升在不同数据集间手术动作识别的泛化能力？
• RQ2 与传统的基于图像或运动学的模型相比，学习到的基于图的表征方法有多有效？
• RQ3 时空图特征在多大程度上能够捕捉手术器械运动中的有意义运动模式和空间关系？
• RQ4 所提出的模态能否作为多模态手术活动识别中的独立或补充组件？
• RQ5 ST-GCN模型在JIGSAWS基准上的性能与当前最先进方法相比如何？

主要发现

• 所提出方法在JIGSAWS缝合任务上实现了68%的平均准确率，显著优于10%的随机基线水平。
• 该模型表现出强大的泛化能力，即使作为独立模态使用，无需额外的视觉或运动学线索，性能依然出色。
• 时空图表征有效捕捉了分层运动模式以及手术器械关节之间的相对空间关系。
• 该方法对场景变化具有鲁棒性，因其依赖于基于姿态的关节信息，而非对背景或光照敏感的图像级特征。
• 结果表明，学习到的时空图特征可作为未来手术活动识别研究的有意义基准。
• 尽管仅使用2D关节坐标，该方法在相同基准上仍优于多种近期的基于CNN的模型，包括3D CNN和ST-CNN。