[论文解读] Trans-SVNet: Accurate Phase Recognition from Surgical Videos via Hybrid Embedding Aggregation Transformer

Xiaojie Gao, Yueming Jin+3 more|arXiv (Cornell University)|Mar 17, 2021

Surgical Simulation and Training参考文献 30被引用 12

一句话总结

Trans-SVNet 提出了一种混合嵌入聚合 Transformer，通过注意力机制融合来自 ResNet 的空间特征和来自 TCN 的时间特征，实现高精度、实时的手术阶段识别。该方法在 Cholec80 和 M2CAI16 数据集上达到 SOTA 性能，并实现 91 fps 的推理速度，通过利用空间嵌入查询时间序列，增强特征表示，且参数开销几乎不变。

ABSTRACT

Real-time surgical phase recognition is a fundamental task in modern operating rooms. Previous works tackle this task relying on architectures arranged in spatio-temporal order, however, the supportive benefits of intermediate spatial features are not considered. In this paper, we introduce, for the first time in surgical workflow analysis, Transformer to reconsider the ignored complementary effects of spatial and temporal features for accurate surgical phase recognition. Our hybrid embedding aggregation Transformer fuses cleverly designed spatial and temporal embeddings by allowing for active queries based on spatial information from temporal embedding sequences. More importantly, our framework processes the hybrid embeddings in parallel to achieve a high inference speed. Our method is thoroughly validated on two large surgical video datasets, i.e., Cholec80 and M2CAI16 Challenge datasets, and outperforms the state-of-the-art approaches at a processing speed of 91 fps.

研究动机与目标

• 解决先前方法依次处理空间和时间特征所导致的关键视觉细节丢失的问题。
• 探索 Transformer 在融合互补空间与时间特征以用于手术视频分析方面的潜力。
• 开发一种参数高效、高速的框架，适用于手术室中的实时部署。
• 通过允许空间特征主动查询时间表示以补全缺失的上下文细节，提升阶段识别的准确性。
• 在实时约束下，于大规模手术视频基准上验证模型的优越性。

提出的方法

• 使用 ResNet 从单个视频帧中提取空间嵌入 $ l_t $，以保留详细的外观信息。
• 采用 TeCNO（多阶段 TCN）生成序列时间嵌入 $ g_{t-n+1:t} $，以捕捉长期时间依赖性。
• 引入一种新型的基于 Transformer 的聚合模块，其中空间嵌入 $ l_t $ 作为查询，关注时间嵌入序列 $ g_{t-n+1:t} $，实现动态特征优化。
• 并行处理混合嵌入，确保高推理速度和计算效率。
• 应用多头自注意力机制，通过学习的查询、键和值，建模空间与时间特征之间的跨模态交互。
• 通过消融研究优化架构，确定最优时间序列长度 $ n = 30 $，在性能与噪声之间实现平衡。

实验结果

研究问题

• RQ1 基于 Transformer 的融合机制是否能通过利用空间特征增强时间表示，从而提升手术阶段识别性能？
• RQ2 使用空间特征查询时间嵌入是否优于顺序处理或拼接特征处理方式？
• RQ3 所提出的混合嵌入聚合方法在准确率和推理速度方面与当前 SOTA 模型相比如何？
• RQ4 在实时手术视频分析中，时间嵌入序列的最优长度是多少，以在性能与噪声之间实现最佳平衡？
• RQ5 所提出的方法在 Cholec80 和 M2CAI16 等多样化手术视频数据集上是否具备鲁棒性与泛化能力？

主要发现

• Trans-SVNet 在 Cholec80 数据集上达到 90.3% 的测试准确率，显著优于基线模型，包括 ResNet（82.1%）和 TeCNO（88.6%）。
• 在 Cholec80 上，该模型的 Jaccard 指数达到 79.3%，表明在不同手术阶段之间具有更优的分割一致性。
• 以 91 fps 的处理速度，Trans-SVNet 在保持实时推理能力的同时，优于所有对比方法。
• 消融研究证实，使用空间嵌入 $ l_t $ 作为查询来关注时间序列 $ g_{t-n+1:t} $ 能够获得最佳性能，所有比较的 P 值均小于 0.05。
• 该模型在 ResNet $ \text{cat} $ TeCNO 及其他 Transformer 变体上均表现出一致的性能提升，证明了所提出的基于注意力的融合策略的有效性。
• 将时间序列长度从 10 增加到 40 可提升性能，直到 $ n = 30 $ 时达到峰值，之后性能趋于平稳，表明在上下文与噪声之间实现了最优平衡。