[论文解读] "Train one, Classify one, Teach one" -- Cross-surgery transfer learning for surgical step recognition

Daniel Neimark, Omri Bar+3 more|arXiv (Cornell University)|Feb 24, 2021

Surgical Simulation and Training参考文献 28被引用 5

一句话总结

本文提出了一种跨手术转移学习框架，名为“Train one, Classify one, Teach one”，采用一种新颖的时间序列适应网络（TSAN）和自监督的序列排序（SeSo）预训练方法，以识别四种腹腔镜手术中的手术步骤。当从胆囊切除术迁移至其他手术时，仅使用极少的标注数据，该方法实现了超过90%的准确率，展示了在手术视频分析中有效的领域自适应能力。

ABSTRACT

Prior work demonstrated the ability of machine learning to automatically recognize surgical workflow steps from videos. However, these studies focused on only a single type of procedure. In this work, we analyze, for the first time, surgical step recognition on four different laparoscopic surgeries: Cholecystectomy, Right Hemicolectomy, Sleeve Gastrectomy, and Appendectomy. Inspired by the traditional apprenticeship model, in which surgical training is based on the Halstedian method, we paraphrase the "see one, do one, teach one" approach for the surgical intelligence domain as "train one, classify one, teach one". In machine learning, this approach is often referred to as transfer learning. To analyze the impact of transfer learning across different laparoscopic procedures, we explore various time-series architectures and examine their performance on each target domain. We introduce a new architecture, the Time-Series Adaptation Network (TSAN), an architecture optimized for transfer learning of surgical step recognition, and we show how TSAN can be pre-trained using self-supervised learning on a Sequence Sorting task. Such pre-training enables TSAN to learn workflow steps of a new laparoscopic procedure type from only a small number of labeled samples from the target procedure. Our proposed architecture leads to better performance compared to other possible architectures, reaching over 90% accuracy when transferring from laparoscopic Cholecystectomy to the other three procedure types.

研究动机与目标

• 研究在多种腹腔镜手术中进行手术步骤识别的迁移学习。
• 通过利用自监督预训练，减少对大规模标注数据集的依赖。
• 评估在多样化手术类型下，领域自适应在手术视频分析中的有效性。
• 开发一种专为手术迁移学习优化的时间序列架构。
• 证明手术智能模型在单病种训练之外的泛化能力。

提出的方法

• 提出一种新型时间序列架构——时间序列适应网络（TSAN），专为手术步骤识别和迁移学习设计。
• 引入一种自监督的序列排序（SeSo）任务，用于在无标注的手术视频特征上预训练TSAN。
• 通过在胆囊切除术上预训练并在目标手术（右半结肠切除术、袖状胃切除术和阑尾切除术）上微调，应用迁移学习。
• 在不同规模的训练集上评估性能，以评估数据效率。
• 在相同的预训练和微调协议下，将TSAN与标准LSTM及其他架构进行比较。
• 采用渐进式子集策略，分析准确率随训练数据量的变化。

实验结果

研究问题

• RQ1 在一种手术类型上训练的手术步骤识别模型，能否有效泛化到其他腹腔镜手术？
• RQ2 在无标注数据上进行的自监督预训练，在提升手术视频分析中的迁移学习效果方面有多有效？
• RQ3 在跨手术迁移学习中，源域与目标域数据对预训练性能有何影响？
• RQ4 模型架构（如TSAN与LSTM）如何影响在不同手术中的迁移性能？
• RQ5 为实现对新手术的高效适应，所需的最少标注数据量是多少？

主要发现

• TSAN结合SeSo预训练在从胆囊切除术迁移至右半结肠切除术、袖状胃切除术和阑尾切除术时，准确率超过90%。
• 当在胆囊切除术上使用SeSo进行预训练时，模型在右半结肠切除术上达到94.7%的准确率，在阑尾切除术上达到90.4%的准确率。
• 即使每种目标手术仅使用100–200个训练样本，性能仍保持在90%以上。
• 在源域（胆囊切除术）数据上进行SeSo预训练，仅带来相较于在目标域数据上预训练的微小性能提升，表明对领域偏移具有鲁棒性。
• SeSo预训练期间的验证准确率在胆囊切除术上收敛更快，表明其更大的数据规模有助于自监督学习。
• 本研究首次分析了四种腹腔镜手术（包括右半结肠切除术和阑尾切除术）中的手术步骤识别。