[论文解读] Teacher-Student chain for efficient semi-supervised histology image classification

Shayne Shaw, Maciej Pajak+3 more|arXiv (Cornell University)|Mar 17, 2020

AI in cancer detection参考文献 14被引用 24

一句话总结

该论文提出了一种用于半监督组织学图像分类的教师-学生链框架，其中每个学生模型均基于前一个模型预测生成的伪标签进行训练，并在少量标注数据上进行微调。仅使用0.5%的标注数据，该方法即可达到使用100%标注数据训练的完全监督模型的准确率，显著降低了数字病理学中的标注负担。

ABSTRACT

Deep learning shows great potential for the domain of digital pathology. An automated digital pathology system could serve as a second reader, perform initial triage in large screening studies, or assist in reporting. However, it is expensive to exhaustively annotate large histology image databases, since medical specialists are a scarce resource. In this paper, we apply the semi-supervised teacher-student knowledge distillation technique proposed by Yalniz et al. (2019) to the task of quantifying prognostic features in colorectal cancer. We obtain accuracy improvements through extending this approach to a chain of students, where each student's predictions are used to train the next student i.e. the student becomes the teacher. Using the chain approach, and only 0.5% labelled data (the remaining 99.5% in the unlabelled pool), we match the accuracy of training on 100% labelled data. At lower percentages of labelled data, similar gains in accuracy are seen, allowing some recovery of accuracy even from a poor initial choice of labelled training set. In conclusion, this approach shows promise for reducing the annotation burden, thus increasing the affordability of automated digital pathology systems.

研究动机与目标

• 为降低在组织学图像上训练深度学习模型的高昂标注成本，因为专家病理科医生稀缺且昂贵。
• 通过结合大规模未标注组织学数据集与小规模标注数据集，提升数字病理学中的模型准确率。
• 将Yalniz等人（2019年）提出的半监督知识蒸馏方法扩展为学生模型链，以实现更优的性能与鲁棒性。
• 优化伪标签过滤超参数（K和P），以改善医学图像半监督学习中的标注-准确率权衡。

提出的方法

• 首先在少量结直肠组织学切片的标注数据集上训练一个教师模型。
• 教师模型为大规模未标注数据集生成软伪标签，并使用每类的前K个置信度分数对伪标签进行过滤。
• 学生模型在过滤后的伪标注数据上进行预训练，随后在原始标注数据集上进行微调。
• 该过程迭代进行：微调后的学生模型成为新的教师模型，为下一个学生模型生成改进的伪标签。
• 链式结构通过迭代方式训练，每个后续学生模型均在前一个模型性能的基础上进一步提升。
• 在验证集上优化超参数K和P，发现每类K=4000时过滤高置信度预测结果表现最优。

实验结果

研究问题

• RQ1 通过逐步优化的伪标签训练一系列学生模型，是否能够使分类准确率超越仅使用小规模标注数据集的监督学习？
• RQ2 在组织学图像分类中，教师-学生链的性能如何随着标注数据量的减少而变化？
• RQ3 在医学图像半监督学习中，伪标签过滤超参数（K和P）的最优配置是什么？
• RQ4 链式结构中的迭代优化是否能减轻初始标注数据选择不佳带来的负面影响？
• RQ5 当仅使用部分数据进行标注时，该链式方法与标准监督训练相比，在准确率方面表现如何？

主要发现

• 仅使用0.5%的标注数据，教师-学生链在测试准确率上达到了使用100%标注数据训练的完全监督模型的水平。
• 当使用1%的标注数据时，链中最佳学生模型的性能超过了在20%标注数据上训练的教师模型。
• 该链式方法降低了性能方差，并在后续迭代中持续提升了难分类类别（如碎片、肌肉、正常组织和间质）的准确率。
• 采用每类K=4000（即最高置信度预测的前80%）进行伪标签过滤，带来了适度但稳定的性能提升。
• 该方法对初始标注数据集质量不敏感，即使初始数据集非最优，链式结构在多次运行中仍表现出一致的准确率提升。
• 性能增益具有累积性，链中每次迭代均带来更高的平均准确率，尽管最优迭代次数在不同运行中有所差异。