[论文解读] Semi-Supervised Active Learning for COVID-19 Lung Ultrasound Multi-symptom Classification

Lei Liu, Wentao Lei+4 more|arXiv (Cornell University)|Sep 9, 2020

COVID-19 diagnosis using AI参考文献 27被引用 4

一句话总结

本文提出了一种用于COVID-19肺部超声图像多症状分类的半监督两流主动学习（TSAL）框架，通过多标签边缘策略利用标签相关性并结合置信度验证，以降低标注成本。该方法仅使用完整训练数据的14.7%即达到最先进性能，在包含71名患者共6,836张图像的新大规模数据集（COVID19-LUSMS）上进行了验证。

ABSTRACT

Ultrasound (US) is a non-invasive yet effective medical diagnostic imaging technique for the COVID-19 global pandemic. However, due to complex feature behaviors and expensive annotations of US images, it is difficult to apply Artificial Intelligence (AI) assisting approaches for lung's multi-symptom (multi-label) classification. To overcome these difficulties, we propose a novel semi-supervised Two-Stream Active Learning (TSAL) method to model complicated features and reduce labeling costs in an iterative procedure. The core component of TSAL is the multi-label learning mechanism, in which label correlations information is used to design multi-label margin (MLM) strategy and confidence validation for automatically selecting informative samples and confident labels. On this basis, a multi-symptom multi-label (MSML) classification network is proposed to learn discriminative features of lung symptoms, and a human-machine interaction is exploited to confirm the final annotations that are used to fine-tune MSML with progressively labeled data. Moreover, a novel lung US dataset named COVID19-LUSMS is built, currently containing 71 clinical patients with 6,836 images sampled from 678 videos. Experimental evaluations show that TSAL using only 20% data can achieve superior performance to the baseline and the state-of-the-art. Qualitatively, visualization of both attention map and sample distribution confirms the good consistency with the clinic knowledge.

研究动机与目标

• 解决临床环境中为多种COVID-19症状标注肺部超声图像所面临的高成本与高复杂性问题。
• 通过主动学习与半监督学习，降低多症状、多标签肺部超声图像分类中的标注工作量。
• 开发一种利用标签相关性以提升低数据环境下样本选择与伪标签置信度的模型。
• 构建并发布一个新的大规模、多标签标注的肺部超声图像数据集（COVID19-LUSMS），用于COVID-19症状分类。
• 通过可解释的注意力可视化，验证模型预测与临床专业知识的一致性。

提出的方法

• 提出一种两流主动学习（TSAL）框架，其中样本流用于选择信息量大的图像，标签流用于分配高置信度的伪标签。
• 采用多标签边缘（MLM）策略，利用标签相关性优先选择不确定性高且信息增益潜力大的样本。
• 引入置信度验证机制，以过滤并分配可靠的伪标签，降低对人工标注的依赖。
• 使用多症状多标签（MSML）分类网络，从多种症状的肺部超声图像中学习判别性特征。
• 结合人机交互（HMI）确认最终标注，通过最小化人工标注实现模型的迭代微调。
• 利用Grad-CAM实现可解释性，通过可视化注意力图验证模型注意力与临床诊断知识的一致性。

实验结果

研究问题

• RQ1 半监督主动学习框架是否能在不牺牲性能的前提下，降低多症状肺部超声分类中的标注成本？
• RQ2 通过多标签边缘（MLM）策略建模标签相关性，在主动学习中选择信息量大样本方面的有效性如何？
• RQ3 对伪标签进行置信度验证在主动学习循环中能在多大程度上减少人工标注工作量？
• RQ4 所提出的TSAL框架是否能在使用少于20%标注数据的情况下，实现与全监督方法相当的性能？
• RQ5 训练模型生成的注意力图是否与临床专家在识别肺部超声图像病灶区域时的判断一致？

主要发现

• TSAL框架仅使用完整训练数据的14.7%即实现了优越的分类性能，优于基线方法与最先进方法。
• 多标签边缘（MLM）策略在所有主动学习迭代中均实现了最高准确率与最佳稳定性，最终性能在第20次迭代达到最优。
• B线与胸腔积液的特异性显著提升——从81.81%提升至92.49%，表明对类别不平衡问题具有有效处理能力。
• 在应用置信度验证后，首次迭代后人工标注工作量几乎降至零，表明标签流具有极高效率。
• Grad-CAM可视化结果证实，模型注意力与临床诊断高度一致，尤其在A线与B线特征识别方面表现突出。
• 所提方法在不同策略下仅使用16.6%至27.6%的标注数据，即实现了接近或优于全监督基线的性能。