[论文解读] TUNeS: A Temporal U-Net with Self-Attention for Video-based Surgical Phase Recognition

Isabel Funke, Dominik Rivoir+2 more|arXiv (Cornell University)|Jul 19, 2023

Surgical Simulation and Training被引用 4

一句话总结

TUNeS 提出了一种用于基于视频的手术阶段识别的新型时间 U-Net，其架构中引入了自注意力机制，通过在 U-Net 结构中整合自注意力机制，高效建模长程时间依赖性。通过在长达 64 帧的长视频片段上联合训练 CNN 特征提取器与 LSTM，TUNeS 在 Cholec80 数据集上实现了最先进性能，以 L=64 上下文实现了离线模式下 92.3% 的准确率和 78.4% 的宏 Jaccard 分数。

ABSTRACT

Objective: To enable context-aware computer assistance in the operating room of the future, cognitive systems need to understand automatically which surgical phase is being performed by the medical team. The primary source of information for surgical phase recognition is typically video, which presents two challenges: extracting meaningful features from the video stream and effectively modeling temporal information in the sequence of visual features. Methods: For temporal modeling, attention mechanisms have gained popularity due to their ability to capture long-range dependencies. In this paper, we explore design choices for attention in existing temporal models for surgical phase recognition and propose a novel approach that uses attention more effectively and does not require hand-crafted constraints: TUNeS, an efficient and simple temporal model that incorporates self-attention at the core of a convolutional U-Net structure. In addition, we propose to train the feature extractor, a standard CNN, together with an LSTM on preferably long video segments, i.e., with long temporal context. Results: In our experiments, almost all temporal models performed better on top of feature extractors that were trained with longer temporal context. On these contextualized features, TUNeS achieves state-of-the-art results on the Cholec80 dataset. Conclusion: This study offers new insights on how to use attention mechanisms to build accurate and efficient temporal models for surgical phase recognition. Significance: Implementing automatic surgical phase recognition is essential to automate the analysis and optimization of surgical workflows and to enable context-aware computer assistance during surgery, thus ultimately improving patient care.

研究动机与目标

• 通过在卷积 U-Net 架构中有效整合自注意力机制，改进基于视频的手术阶段识别中的时间建模。
• 研究在长达 64 帧的时间上下文中训练视觉特征提取器对后续阶段识别性能的影响。
• 开发一种模型，实现高精度与对模糊帧具有鲁棒性的在线与离线手术阶段识别。
• 证明自注意力机制可被高效地应用于 U-Net 结构中，无需手工设计约束，从而增强长程依赖性建模能力。
• 通过上下文特征与统一的注意力增强时间模型，在 Cholec80 数据集上建立新的最先进基准。

提出的方法

• 提出 TUNeS，一种时间 U-Net，其在 U-Net 编码器-解码器结构的瓶颈处嵌入自注意力机制，以建模下采样后语义丰富的特征中的长程时间依赖性。
• 在长度为 L（1、8 或 64 帧）的截断视频序列上，采用联合训练设置将 CNN 特征提取器与 LSTM 集成，使 CNN 能够学习上下文感知的表征。
• 在时间下采样后应用自注意力机制，以降低计算成本，同时保持全局上下文建模能力。
• 采用类似 U-Net 的跳跃连接架构，以保留空间与时间分辨率，提升特征重建与阶段预测的准确性。
• 使用余弦退火学习率调度器，以改善训练过程中的泛化能力与收敛性。
• 在 Cholec80 数据集上端到端训练模型，采用标准交叉熵损失与平滑损失，推理阶段仅使用训练好的 CNN 与 TUNeS 主干网络。

实验结果

研究问题

• RQ1 与单帧或短序列训练相比，使用长时间上下文（L=64）训练视觉特征提取器是否能显著提升手术阶段识别性能？
• RQ2 自注意力机制能否在 U-Net 基础架构中被有效且高效地集成，以实现手术视频分析中的时间建模？
• RQ3 在不同评估模式（在线与离线）下，TUNeS 与现有最先进模型相比，在准确率与鲁棒性方面表现如何？
• RQ4 在 U-Net 瓶颈中使用自注意力机制在多大程度上提升了手术流程中长程时间依赖性的建模能力？
• RQ5 在长视频片段上联合训练 CNN 与 LSTM 是否能生成更具判别性与上下文感知能力的特征，以提升阶段识别性能？

主要发现

• 当使用 L=64 时间上下文进行训练时，TUNeS 在 Cholec80 数据集的离线模式下实现了 92.3% 的测试准确率与 78.4% 的宏 Jaccard 分数。
• 在所有设置中，L=64 上下文的模型性能最高，表明长上下文训练显著提升了特征质量与识别准确率。
• TUNeS 在在线与离线评估协议下均优于所有基线模型，包括 TeCNO、ASFormer 与 SAHC，在 Cholec80 上建立了新的最先进水平。
• 混淆矩阵在行归一化（召回率）与列归一化（精确率）形式下均显示高对角线值，表明各阶段分类性能强，误分类率低。
• 结合余弦退火学习率调度器后，性能进一步提升，TUNeS 在离线模式下实现了 94.6% 的准确率与 82.5% 的宏 Jaccard 分数。
• 所有时间模型，包括 TUNeS，在从与 LSTM 在长视频片段上联合训练的 CNN 提取特征时表现更优，证实了上下文特征学习的优势。