[论文解读] SegMatch: A semi-supervised learning method for surgical instrument segmentation

Wei Meng, Charlie Budd+4 more|arXiv (Cornell University)|Aug 9, 2023

Medical Imaging and Analysis被引用 4

一句话总结

SegMatch 提出了一种用于外科器械分割的半监督学习框架，通过引入等变不变增强和基于 I-FGSM 的可学习对抗增强策略，将 FixMatch 适配于密集预测任务。该方法在 Robust-MIS 2019 和 EndoVis 2017 数据集上达到最先进性能，仅使用 30% 的标注数据和 17,000 张未标注图像，超越了完全监督方法。

ABSTRACT

Surgical instrument segmentation is recognised as a key enabler in providing advanced surgical assistance and improving computer-assisted interventions. In this work, we propose SegMatch, a semi-supervised learning method to reduce the need for expensive annotation for laparoscopic and robotic surgical images. SegMatch builds on FixMatch, a widespread semi supervised classification pipeline combining consistency regularization and pseudo-labelling, and adapts it for the purpose of segmentation. In our proposed SegMatch, the unlabelled images are first weakly augmented and fed to the segmentation model to generate pseudo-labels. In parallel, images are fed to a strong augmentation branch and consistency between the branches is used as an unsupervised loss. To increase the relevance of our strong augmentations, we depart from using only handcrafted augmentations and introduce a trainable adversarial augmentation strategy. Our FixMatch adaptation for segmentation tasks further includes carefully considering the equivariance and invariance properties of the augmentation functions we rely on. For binary segmentation tasks, our algorithm was evaluated on the MICCAI Instrument Segmentation Challenge datasets, Robust-MIS 2019 and EndoVis 2017. For multi-class segmentation tasks, we relied on the recent CholecInstanceSeg dataset. Our results show that SegMatch outperforms fully-supervised approaches by incorporating unlabelled data, and surpasses a range of state-of-the-art semi-supervised models across different labelled to unlabelled data ratios.

研究动机与目标

• 通过利用未标注的腹腔镜和机器人外科图像，减少对外科器械分割中昂贵人工标注的依赖。
• 将半监督分类框架 FixMatch 适配于语义分割任务，考虑空间和光度变换下的等变性与不变性。
• 通过用可学习的对抗增强策略替代固定的手工强增强，提升模型泛化能力和性能。
• 证明在选择性未标注数据上，半监督学习可超越完全监督基线模型在外科分割基准中的表现。

提出的方法

• 采用 FixMatch 的双分支训练机制：一个分支使用弱增强（如翻转、旋转）生成伪标签，另一个分支使用强增强进行一致性正则化。
• 应用空间变换（如旋转、翻转）并配合逆变换，以保持分割掩码的一致性，确保等变性。
• 引入迭代快速梯度符号法（I-FGSM）作为可训练的强增强，生成引导模型鲁棒性的对抗样本。
• 通过置信度阈值筛选弱增强输出中高置信度的像素作为伪标签，用于强增强分支的训练。
• 将对抗扰动限制在 ϵ-邻域内，以保持器械完整性，同时提升泛化能力。
• 在混合的标注与未标注数据批次上训练共享的编码器-解码器主干网络，最小化伪标签与强增强预测之间的一致性损失。

Figure 1: Representative sample images from Robust-MIS 2019 of laparoscopic surgery (left) and state-of-the-art instrument segmentation results (right). True positive (yellow), true negative (black), false positive (purple), and false negative (red).

实验结果

研究问题

• RQ1 是否可将基于 FixMatch 的半监督学习框架适配于外科器械分割任务，并在性能上超越完全监督方法？
• RQ2 增强的等变性与不变性特性如何影响外科图像分析中的分割性能？
• RQ3 可学习的对抗增强策略是否能超越固定手工增强，提升模型泛化能力？
• RQ4 在低数据环境下，如何实现标注数据与未标注数据之间的最优平衡以获得高分割精度？

主要发现

• SegMatch 仅使用 30% 的标注数据（1,794 张图像）和 17,000 张未标注图像，在 Robust-MIS 2019 上实现了 84.9 的平均 Dice 评分，超越完全监督基线模型。
• 该方法在多种标注数据与未标注数据比例下均超越了当前最先进的半监督语义分割模型，尤其在 1:9 和 3:7 比例下表现突出。
• 当 I-FGSM 迭代次数 K=50 且 ε=0.08 时性能最高（平均 Dice 为 84.9），表明迭代对抗增强可提升模型鲁棒性。
• 性能在 ε ≈ 0.08 时达到峰值；超过此值后性能下降，证实了扰动强度与模型稳定性之间的权衡。
• I-FGSM 超过单步攻击（如 FGSM、C&W），且成功率高于 FGSM，但超过最优 ε 后性能下降更显著。
• 使用对抗增强显著提升了分割一致性和泛化能力，尤其在低数据环境下表现更优。

Figure 2: SegMatch training process structure. The top row is the fully supervised pathway which follows the traditional segmentation model training process. The two bottom rows form the unsupervised learning pathway, where one branch uses a weakly augmented image fed into the model to compute predi