[论文解读] Scribble-Supervised Medical Image Segmentation via Dual-Branch Network and Dynamically Mixed Pseudo Labels Supervision

Xiangde Luo, Minhao Hu+5 more|arXiv (Cornell University)|Mar 4, 2022

Medical Image Segmentation Techniques被引用 5

一句话总结

本文提出一种双分支网络，结合动态混合伪标签，用于草图监督的心脏MRI分割，实现仅使用稀疏草图标注的端到端训练。通过融合两个解码器的预测结果生成鲁棒的伪标签，该方法在ACDC数据集上实现了最先进性能，显著降低标注成本，优于现有的草图监督与半监督方法。

ABSTRACT

Medical image segmentation plays an irreplaceable role in computer-assisted diagnosis, treatment planning, and following-up. Collecting and annotating a large-scale dataset is crucial to training a powerful segmentation model, but producing high-quality segmentation masks is an expensive and time-consuming procedure. Recently, weakly-supervised learning that uses sparse annotations (points, scribbles, bounding boxes) for network training has achieved encouraging performance and shown the potential for annotation cost reduction. However, due to the limited supervision signal of sparse annotations, it is still challenging to employ them for networks training directly. In this work, we propose a simple yet efficient scribble-supervised image segmentation method and apply it to cardiac MRI segmentation. Specifically, we employ a dual-branch network with one encoder and two slightly different decoders for image segmentation and dynamically mix the two decoders' predictions to generate pseudo labels for auxiliary supervision. By combining the scribble supervision and auxiliary pseudo labels supervision, the dual-branch network can efficiently learn from scribble annotations end-to-end. Experiments on the public ACDC dataset show that our method performs better than current scribble-supervised segmentation methods and also outperforms several semi-supervised segmentation methods.

研究动机与目标

• 降低医学影像中密集像素级分割掩码的高标注成本。
• 在仅使用稀疏草图标注的情况下，提升弱监督医学图像分割的性能。
• 开发一种鲁棒的伪标签策略，有效利用有限的草图监督信息。
• 实现仅使用草图和伪标签进行端到端的分割网络训练。
• 在最小化人工标注工作量的同时，实现接近完全监督方法的性能。

提出的方法

• 采用双分支网络架构，包含一个共享编码器和两个略有不同的解码器，以生成多样化的预测结果。
• 通过随机系数动态混合两个解码器的输出，生成用于辅助监督的硬伪标签。
• 动态混合策略确保了伪标签生成过程中的多样性与一致性，降低了模型自我确认偏差。
• 网络通过结合草图监督与伪标签监督的加权损失函数进行训练。
• 损失函数包含一个超参数 λ，用于平衡草图与伪标签监督的贡献。
• 在ACDC数据集上采用5折交叉验证，评估多个训练与验证划分下的性能表现。

实验结果

研究问题

• RQ1 双分支网络是否能仅依靠稀疏草图标注进行有效学习，而无需密集掩码？
• RQ2 与固定或一致的伪标签策略相比，动态混合伪标签是否能提升分割性能？
• RQ3 该方法对控制草图与伪标签监督平衡的超参数 λ 的敏感性如何？
• RQ4 所提方法是否能在显著减少标注工作量的前提下，实现与完全监督或半监督方法相当的性能？
• RQ5 解码器预测的动态混合是否能生成比静态或交叉监督方法更鲁棒、更具泛化能力的伪标签？

主要发现

• 所提方法在ACDC数据集上取得0.872的平均DSC，优于七种近期的草图监督方法。
• 尽管仅使用草图标注（远低于完整掩码的标注成本），该方法仍超越了四种半监督分割方法。
• 敏感性分析表明，当 λ 值在0.01至1.0之间变化时，性能保持稳定，最优性能出现在 λ = 0.5。
• 消融实验表明，动态混合伪标签（PLS）的效果优于一致性正则化（CR）或交叉伪监督（CPS）。
• 主解码器与辅助解码器性能几乎相同，表明通过伪标签机制实现了有效的知识蒸馏。
• 定性结果表明，分割输出在视觉上比竞争方法更接近真实标签，尤其在边界区域表现更优。