[论文解读] Self-Supervised Learning for 3D Medical Image Analysis using 3D SimCLR and Monte Carlo Dropout

Yamen Ali, Aiham Taleb+2 more|arXiv (Cornell University)|Sep 29, 2021

Medical Imaging Techniques and Applications参考文献 2被引用 8

一句话总结

该论文提出一种基于3D SimCLR的3D自监督学习框架，用于医学图像分割。模型在未标注的3D MRI和CT扫描上进行预训练，以学习鲁棒特征。通过在推理阶段引入蒙特卡洛丢弃（Monte Carlo Dropout）来估计不确定性，显著提升了分割精度和数据效率，尤其在标注数据有限的情况下，对脑部和胰腺肿瘤分割任务表现优异。

ABSTRACT

Self-supervised learning methods can be used to learn meaningful representations from unlabeled data that can be transferred to supervised downstream tasks to reduce the need for labeled data. In this paper, we propose a 3D self-supervised method that is based on the contrastive (SimCLR) method. Additionally, we show that employing Bayesian neural networks (with Monte-Carlo Dropout) during the inference phase can further enhance the results on the downstream tasks. We showcase our models on two medical imaging segmentation tasks: i) Brain Tumor Segmentation from 3D MRI, ii) Pancreas Tumor Segmentation from 3D CT. Our experimental results demonstrate the benefits of our proposed methods in both downstream data-efficiency and performance.

研究动机与目标

• 为解决标注3D医学扫描数据稀缺的问题，利用自监督学习在大规模未标注数据上预训练模型。
• 通过减少对大量专家标注训练数据的依赖，提升下游分割任务的数据效率。
• 通过在推理阶段引入不确定性估计（使用蒙特卡洛丢弃作为贝叶斯近似），提升模型可靠性。
• 在两个具有挑战性的3D医学影像分割任务上评估所提方法：脑肿瘤和胰腺肿瘤分割。
• 证明通过MC丢弃实现的不确定性感知推理可带来可测量的性能提升，尤其在低数据环境下。

提出的方法

• 预训练采用3D SimCLR，基于从未标注MRI和CT扫描中提取的3D图像块，通过随机增强（如旋转、噪声、模糊）生成正样本对。
• 模型架构由3D-CNN编码器和非线性投影头组成，使用归一化的温度缩放交叉熵损失（NT-Xent）进行训练，以最大化同一图像块不同增强视图之间的相似性。
• 在下游分割任务中，使用加权Dice损失对预训练编码器进行微调，并结合U-Net解码器以处理肿瘤分割中的类别不平衡问题。
• 在推理阶段应用蒙特卡洛丢弃，通过多次前向传播采样，实现不确定性估计，并通过集成平均提升模型鲁棒性。
• 评估了多种聚合策略——多数投票、Borda计数和加权多数投票——以整合MC丢弃的预测结果，提升分割一致性。
• 通过MC丢弃预测的百分位数热图可视化不确定性图，展示预测肿瘤区域内的置信度水平。

实验结果

研究问题

• RQ1 与随机初始化或有监督预训练相比，基于未标注3D医学扫描的3D SimCLR预训练是否能提升下游分割性能？
• RQ2 在推理阶段引入蒙特卡洛丢弃是否能提升分割精度和鲁棒性，尤其是在低数据环境下？
• RQ3 通过MC丢弃实现的不确定性估计如何影响预测可靠性？其可视化是否具有临床决策支持意义？
• RQ4 MC丢弃带来的性能增益是否依赖于在编码器、解码器或两者上应用丢弃？
• RQ5 不同的MC丢弃配置（如丢弃率、采样次数）如何影响最终的分割性能？

主要发现

• 在胰腺数据集上，所提出的3D SimCLR方法结合MC丢弃，在仅使用5%标注数据微调时，平均Dice分数相比基线最高提升8.5%。
• 与确定性基线相比，推理阶段使用MC丢弃使胰腺数据集的平均Dice分数提升了3.2%，且在对编码器应用丢弃时增益最大。
• 当仅用25%的训练数据微调时，3D SimCLR模型的平均Dice分数已超过在100%数据上训练的基线模型，证明了其强大的数据效率。
• 加权多数投票策略在MC丢弃预测中表现最佳，尤其在标注数据超过5%时优势更明显。
• MC丢弃预测的热图显示，第5百分位图揭示了肿瘤核心区域的高置信度区域，而第95百分位图则显示出更多假阳性，证实了该方法能有效反映不确定性。
• 消融实验证实，MC丢弃的性能增益主要源于编码器中的不确定性估计；仅在解码器上应用丢弃则带来可忽略的改进。