[论文解读] Noisy Label Learning for Large-scale Medical Image Classification.

Fengbei Liu, Yu Tian+4 more|arXiv (Cornell University)|Mar 6, 2021

COVID-19 diagnosis using AI参考文献 37被引用 6

一句话总结

本文提出了一种新颖方法，通过将最先进的噪声标签学习技术适配到Chest X-ray14数据集，以在标签噪声存在的情况下提升大规模医学图像分类性能。该方法提出了一种理论基础扎实的方法，利用噪声测试集的结果来估计模型在干净测试数据上的表现，揭示了当多种疾病共存时，'No Finding'类是标签噪声的主要来源，因其最易被误分类。

ABSTRACT

The classification accuracy of deep learning models depends not only on the size of their training sets, but also on the quality of their labels. In medical image classification, large-scale datasets are becoming abundant, but their labels will be noisy when they are automatically extracted from radiology reports using natural language processing tools. Given that deep learning models can easily overfit these noisy-label samples, it is important to study training approaches that can handle label noise. In this paper, we adapt a state-of-the-art (SOTA) noisy-label multi-class training approach to learn a multi-label classifier for the dataset Chest X-ray14, which is a large scale dataset known to contain label noise in the training set. Given that this dataset also has label noise in the testing set, we propose a new theoretically sound method to estimate the performance of the model on a hidden clean testing data, given the result on the noisy testing data. Using our clean data performance estimation, we notice that the majority of label noise on Chest X-ray14 is present in the class 'No Finding', which is intuitively correct because this is the most likely class to contain one or more of the 14 diseases due to labelling mistakes.

研究动机与目标

• 为解决大规模医学影像数据集中标签噪声的问题，特别是来自放射科报告自动提取的标签。
• 通过适配最先进的噪声标签学习技术，提升深度学习模型在噪声训练数据上的泛化能力。
• 开发一种理论可靠的模型，用于利用噪声测试集的预测结果，估计模型在隐藏干净测试集上的性能。
• 识别并分析Chest X-ray14数据集中标签噪声的根本原因，特别是'No Finding'类。

提出的方法

• 将最先进的多类别噪声标签训练方法适配到Chest X-ray14数据集的多标签分类设置中。
• 提出一个理论框架，利用噪声测试集的预测结果，估计模型在隐藏干净测试集上的性能。
• 利用估计的干净性能结果，指导在存在标签噪声情况下的模型训练与超参数选择。
• 分析Chest X-ray14数据集中14个类别上的标签噪声分布，重点关注'No Finding'类作为主要错误来源。

实验结果

研究问题

• RQ1 如何在从放射科报告中提取的标签存在噪声的大规模医学图像数据集上，有效训练深度学习模型？
• RQ2 标签噪声对模型性能有何影响，特别是在Chest X-ray14数据集的'No Finding'类中？
• RQ3 当仅能获得噪声测试数据时，能否通过一种理论可靠的方法估计模型在干净测试数据上的性能？
• RQ4 Chest X-ray14数据集中哪些类别受标签噪声影响最大，原因是什么？

主要发现

• 'No Finding'类是Chest X-ray14数据集中标签噪声的主要来源，因为当多种疾病共存时，该类最易被误分类。
• 所提出的估计干净测试性能的方法，尽管存在噪声测试标签，仍能提供可靠的模型泛化性能代理指标。
• 模型在噪声测试集上的表现显著低估了其在干净数据上的真实性能，凸显了对干净性能估计的必要性。
• 对SOTA噪声标签学习技术的适配，显著提升了Chest X-ray14噪声训练数据上的模型鲁棒性与准确性。