[论文解读] Self-Training with Improved Regularization for Few-Shot Chest X-Ray Classification.

Deepta Rajan, Jayaraman J. Thiagarajan+2 more|arXiv (Cornell University)|May 3, 2020

COVID-19 diagnosis using AI被引用 6

一句话总结

本文提出了一种带有改进正则化的自训练框架，用于少样本胸部X光片分类，通过数据增强、知识蒸馏和置信度降温技术，在仅使用约10%标注数据的情况下，实现了与完全监督模型相当的性能。该方法有效缓解了低数据环境下类别不平衡和多疾病预测的问题。

ABSTRACT

Automated diagnostic assistants in healthcare necessitate accurate AI models that can be trained with limited labeled data, can cope with severe class imbalances and can support simultaneous prediction of multiple disease conditions. To this end, we present a novel few-shot learning approach that utilizes a number of key components to enable robust modeling in such challenging scenarios. Using an important use-case in chest X-ray classification, we provide several key insights on the effective use of data augmentation, self-training via distillation and confidence tempering for few-shot learning in medical imaging. Our results show that using only ~10% of the labeled data, we can build predictive models that match the performance of classifiers trained in a large-scale data setting.

研究动机与目标

• 解决在标注数据有限且类别严重不平衡的情况下，训练准确医学影像AI模型的挑战。
• 在少样本学习约束下，实现在胸部X光片分类中同时进行多疾病预测。
• 通过有效的正则化技术与自训练，提升模型在低数据环境下的鲁棒性。
• 研究数据增强、置信度降温与知识蒸馏在少样本医学图像分类中的影响。
• 在显著减少标注数据的前提下，实现与完全监督模型相当的性能。

提出的方法

• 应用先进的数据增强策略，以提升少样本训练数据的多样性与鲁棒性。
• 实施结合知识蒸馏的自训练，通过伪标签将教师模型的知识传递给学生模型。
• 引入置信度降温以校准模型预测，降低对伪标签样本的过度自信。
• 采用学生-教师框架，其中学生模型在标注数据和教师模型的伪标签预测上进行训练。
• 通过一致性约束和温度缩放的交叉熵损失对学生模型进行正则化，以提升泛化能力。
• 优化训练流程，通过调整损失权重和采样策略来应对类别不平衡问题。

实验结果

研究问题

• RQ1 在标注数据有限的少样本胸部X光片分类中，结合知识蒸馏的自训练方法有多高效？
• RQ2 置信度降温在低数据环境下在多大程度上提升了模型的校准性与性能？
• RQ3 数据增强与正则化技术的综合应用如何共同影响模型的鲁棒性与准确性？
• RQ4 能否仅使用约10%的标注数据，使少样本模型实现与完全监督模型相当的性能？
• RQ5 所提出的方法在胸部X光影像中处理多疾病预测与类别不平衡问题时表现如何？

主要发现

• 当仅使用约10%的标注数据进行训练时，所提出的方法实现了与完全监督模型相当的性能。
• 结合蒸馏与置信度降温的自训练显著提升了低数据设置下的模型准确率与校准性。
• 数据增强与正则化技术的整合，使模型在罕见与常见疾病类别上均表现出更强的泛化能力。
• 尽管监督信号有限且存在类别不平衡，该模型在多疾病分类任务中仍保持了强劲的性能。
• 置信度降温降低了对伪标签预测的过度自信，从而带来了更可靠的自训练更新。
• 该方法在胸部X光片分类的不同少样本评估协议中均表现出优异的可迁移性与稳定性。