[论文解读] Surrogate Supervision for Medical Image Analysis: Effective Deep Learning From Limited Quantities of Labeled Data

Nima Tajbakhsh, Yufei Hu+7 more|arXiv (Cornell University)|Jan 25, 2019

Radiomics and Machine Learning in Medical Imaging参考文献 17被引用 12

一句话总结

本文提出代理监督（surrogate supervision）作为一种方法，利用大量未标注数据对深度神经网络进行医学图像分析的预训练，通过旋转、重建或色彩化等方式分配人工标签。结果表明，使用代理监督进行预训练能显著提升小样本标注数据集上的性能，尤其在3D医学影像任务中，优于随机初始化和来自自然图像的迁移学习。

ABSTRACT

We investigate the effectiveness of a simple solution to the common problem of deep learning in medical image analysis with limited quantities of labeled training data. The underlying idea is to assign artificial labels to abundantly available unlabeled medical images and, through a process known as surrogate supervision, pre-train a deep neural network model for the target medical image analysis task lacking sufficient labeled training data. In particular, we employ 3 surrogate supervision schemes, namely rotation, reconstruction, and colorization, in 4 different medical imaging applications representing classification and segmentation for both 2D and 3D medical images. 3 key findings emerge from our research: 1) pre-training with surrogate supervision is effective for small training sets; 2) deep models trained from initial weights pre-trained through surrogate supervision outperform the same models when trained from scratch, suggesting that pre-training with surrogate supervision should be considered prior to training any deep 3D models; 3) pre-training models in the medical domain with surrogate supervision is more effective than transfer learning from an unrelated domain (e.g., natural images), indicating the practical value of abundant unlabeled medical image data.

研究动机与目标

• 为解决医学图像分析中标签数据有限的问题，特别是针对迁移学习效果不佳的3D成像任务。
• 探究在医学领域使用代理监督进行预训练是否能提升模型性能，相比随机初始化或从自然图像迁移学习。
• 评估代理监督在多样化医学影像任务中的有效性，包括2D与3D模态下的分类与分割任务。
• 确定在标签数据稀缺时，代理监督是否能提供优于迁移学习的权重初始化。

提出的方法

• 使用未标注医学图像通过三种代理监督方案生成人工标签，对深度神经网络进行预训练：旋转预测、图像重建和色彩化。
• 为未标注图像分配代理标签——例如预测旋转角度、从损坏版本重建原始图像，或从灰度输入预测颜色。
• 仅使用部分（10%、25%、50%、100%）标注数据，通过代理预训练获得的权重初始化模型，再在目标医学任务上进行训练。
• 与从随机初始化训练的模型以及从ImageNet预训练权重微调的模型进行性能比较。
• 采用标准评估指标：结节检测使用FROC，分割任务使用Dice分数，分类任务使用Kappa统计量。
• 采用数据划分策略，确保训练、验证与测试集互不重叠；在代理预训练中合并标注与未标注数据，但从未标注集中移除目标任务的标签。

实验结果

研究问题

• RQ1 在标签数据有限的情况下，代理监督是否能提升深度学习在医学图像分析中的性能？
• RQ2 在医学领域使用代理监督进行预训练是否比从ImageNet迁移学习更有效？
• RQ3 随着标注训练集规模的增加，代理监督对模型性能的影响如何？
• RQ4 代理监督能否作为3D医学图像分析从零开始训练的可行替代方案？

主要发现

• 使用代理监督进行预训练在性能上始终优于从随机初始化开始训练，尤其在仅使用10%或25%的标注数据时效果更显著。
• 在3D医学影像任务（如肺叶分割）中，代理监督显著优于从零开始训练，表明其对通常从零开始训练的3D架构具有重要价值。
• 在医学领域使用代理监督比从ImageNet迁移学习更有效，尤其在与自然图像差异较大的任务中，如视网膜或CT图像任务。
• 随着标注训练集规模的增加，代理监督带来的性能增益逐渐减小，表明其在小样本场景下最具优势。
• 对于皮肤分割任务（其领域更接近自然图像），ImageNet迁移学习仍优于代理监督，但代理预训练仍优于随机初始化。
• 结果表明，代理监督提供的权重初始化优于随机权重或来自无关领域的预训练权重，尤其在低数据场景下。