[论文解读] SurgMAE: Masked Autoencoders for Long Surgical Video Analysis

Muhammad Abdullah Jamal, Omid Mohareri|arXiv (Cornell University)|May 19, 2023

Surgical Simulation and TrainingMedicine被引用 3

一句话总结

SurgMAE 提出了一种用于长时手术视频分析的新型掩码自编码器框架，通过采样高时空标记进行掩码，而非使用随机掩码，从而提升了自监督表征学习的效果。该方法在 OR-AR 和 OR-ARv2 数据集上实现了最先进性能，尤其在低数据设置下表现优异，并在 UCF-101 上展现出良好的泛化能力，mAP 提升最高达 1.3%，top-1 准确率提升最高达 0.9%。

ABSTRACT

There has been a growing interest in using deep learning models for processing long surgical videos, in order to automatically detect clinical/operational activities and extract metrics that can enable workflow efficiency tools and applications. However, training such models require vast amounts of labeled data which is costly and not scalable. Recently, self-supervised learning has been explored in computer vision community to reduce the burden of the annotation cost. Masked autoencoders (MAE) got the attention in self-supervised paradigm for Vision Transformers (ViTs) by predicting the randomly masked regions given the visible patches of an image or a video clip, and have shown superior performance on benchmark datasets. However, the application of MAE in surgical data remains unexplored. In this paper, we first investigate whether MAE can learn transferrable representations in surgical video domain. We propose SurgMAE, which is a novel architecture with a masking strategy based on sampling high spatio-temporal tokens for MAE. We provide an empirical study of SurgMAE on two large scale long surgical video datasets, and find that our method outperforms several baselines in low data regime. We conduct extensive ablation studies to show the efficacy of our approach and also demonstrate it's superior performance on UCF-101 to prove it's generalizability in non-surgical datasets as well.

研究动机与目标

• 探究掩码自编码器（MAE）是否能够从无标签的长时手术视频中学习可迁移的表征。
• 针对 MAE 中随机掩码策略的局限性，提出一种新型标记采样策略，优先选择高信息量的时空区域进行掩码。
• 通过在大规模无标签手术视频上进行自监督预训练，提升手术动作识别中的数据效率。
• 证明所提方法在手术与非手术视频基准上的泛化能力。

提出的方法

• 提出 SurgMAE，一种基于视觉 Transformer 的掩码自编码器，专为长时手术视频表征学习而设计。
• 引入一种高时空标记采样策略，基于嵌入空间距离选择掩码标记，优先选择信息丰富的区域，同时排除冗余或背景区域的补丁。
• 采用高掩码率（OR-AR 上为 90%，UCF-101 上为 80%），以促进鲁棒特征学习。
• 使用可学习的掩码标记和解码器头，从可见标记中重建被掩码的补丁。
• 采用逐补丁归一化和 L2（SE）损失，以提升重建质量。
• 在大规模无标签手术视频数据集（OR-ARv2、Cataract-101）上进行预训练，随后在下游分类任务上进行微调。

实验结果

研究问题

• RQ1 掩码自编码器能否有效从未标记的长时手术视频中学习可迁移表征？
• RQ2 与随机掩码或帧/视频管状掩码相比，采用高时空标记采样进行掩码是否能提升手术视频 MAE 中的表征学习效果？
• RQ3 SurgMAE 在低数据设置下的表现如何，相较于完全监督和对比学习基线方法？
• RQ4 所提方法是否能泛化到非手术视频数据集（如 UCF-101）？
• RQ5 不同掩码策略对下游手术动作识别性能有何影响？

主要发现

• 在仅使用 5% 标注数据的 OR-AR 数据集上，SurgMAE 达到 68.91% mAP，优于所有基线方法，包括使用随机掩码的 MAE（64.66%）和使用完整数据的 Swin-B+BiGRU（95.13%）。
• 在完整的 OR-ARv2 数据集上，SurgMAE 达到 93.11% mAP，超过次优方法（使用视频管状掩码的 VideoMAE，为 92.36%）。
• 在 UCF-101 上，SurgMAE 达到 92.1% top-1 准确率，优于相同高掩码率（80%）下的 VideoMAE（91.2%）。
• 所提出的高时空采样策略在所有数据集上均持续提升性能，证实了其在选择信息丰富标记方面的有效性。
• 尽管随机掩码在全数据微调下表现良好，但 SurgMAE 的优势在低数据设置下最为显著，体现出更强的数据效率。
• 采用逐补丁归一化的像素重建结合 L2（SE）损失，效果优于原始像素重建，与先前 MAE 研究的发现一致。