[论文解读] Using Deep Learning with Large Aggregated Datasets for COVID-19 Classification from Cough

Esin Darici Haritaoglu, Nicholas Rasmussen+13 more|arXiv (Cornell University)|Jan 5, 2022

COVID-19 diagnosis using AI被引用 10

一句话总结

本研究提出了一种基于深度学习的新冠肺炎分类方法，利用大规模聚合数据集对咳嗽声音进行分析，该数据集结合了经PCR验证的临床咳嗽数据与众包录音。自监督学习模型的AUC达到0.807，卷积神经网络（CNN）模型的AUC达到0.802，表明在更大规模数据集上性能有所提升，同时强调了需要更广泛、高质量的数据收集以减少偏差并增强模型的泛化能力。

ABSTRACT

The Covid-19 pandemic has been one of the most devastating events in recent history, claiming the lives of more than 5 million people worldwide. Even with the worldwide distribution of vaccines, there is an apparent need for affordable, reliable, and accessible screening techniques to serve parts of the World that do not have access to Western medicine. Artificial Intelligence can provide a solution utilizing cough sounds as a primary screening mode for COVID-19 diagnosis. This paper presents multiple models that have achieved relatively respectable performance on the largest evaluation dataset currently presented in academic literature. Through investigation of a self-supervised learning model (Area under the ROC curve, AUC = 0.807) and a convolutional nerual network (CNN) model (AUC = 0.802), we observe the possibility of model bias with limited datasets. Moreover, we observe that performance increases with training data size, showing the need for the worldwide collection of data to help combat the Covid-19 pandemic with non-traditional means.

研究动机与目标

• 开发一种可靠、可及且低成本的基于人工智能的新冠肺炎筛查方法，利用咳嗽声音进行检测，尤其适用于医疗资源有限的低收入和中等收入国家。
• 通过整合来自多个来源的多样化、高质量咳嗽数据集，解决先前研究中普遍存在的模型偏差和泛化能力问题。
• 评估自监督学习和卷积神经网络在大规模、经PCR验证的咳嗽数据集上的表现，以确定其诊断潜力。
• 研究训练数据规模对模型性能的影响，强调持续开展全球范围数据收集以提升模型鲁棒性的必要性。

提出的方法

• 本研究使用大规模聚合数据集，结合经PCR验证的临床咳嗽数据（Virufy-India, IATOS）和众包咳嗽录音（Virufy, COUGHVID, Coswara），用于模型训练与评估。
• 自监督学习（SSL）模型在带标签和未带标签的咳嗽数据上进行训练，以学习鲁棒表征，而无需大量人工标注。
• 卷积神经网络（CNN）采用完全监督的方式，仅使用带标签的咳嗽样本进行训练，以与SSL方法的性能进行对比。
• 通过受试者工作特征曲线下面积（AUC）评估模型性能，并进一步分析敏感性、特异性和在多样化数据源上的泛化能力。
• 研究人员应用自定义的咳嗽筛查工具过滤低质量音频，以减少训练和评估数据集中与噪声相关的偏差。
• 探索超参数调优、数据增强和阈值优化等方法，以进一步提升模型性能。

实验结果

研究问题

• RQ1 自监督学习和CNN模型能否在大规模、多样化数据集上实现对新冠肺炎咳嗽声音的高诊断性能？
• RQ2 随着训练数据规模的增加，模型性能如何变化？这一现象是否支持‘更大规模数据集可减少偏差并提升泛化能力’的假设？
• RQ3 数据集来源和数据质量（如PCR验证数据与众包数据）在多大程度上影响模型性能和可靠性？
• RQ4 在基于咳嗽声音的新冠肺炎分类背景下，深度学习模型的性能指标与传统机器学习模型（如SVM）相比如何？
• RQ5 数据质量与预处理（尤其是噪声过滤）在最小化算法偏差和提升实际应用可行性方面发挥何种作用？

主要发现

• 自监督学习模型的AUC达到0.807，而CNN模型的AUC达到0.802，表明在大规模、多样化评估数据集上表现优异。
• 随着训练数据规模的增加，模型性能持续提升，表明数据量与模型准确率之间存在正相关关系，支持持续开展数据收集工作。
• SSL模型表现出略高的敏感性，并在AUC上比CNN模型高出0.016，尽管差异微小，但仍表明两种模型均具备实际部署的可行性。
• 研究发现，未经验证的众包数据（占带标签数据集的72.6%）可能引入标签错误，从而影响实际应用中的性能与泛化能力。
• 在数据量有限的情况下观察到模型偏差，凸显了采用多样化、高质量数据以减少人口统计学特征和录音条件相关偏差的重要性。
• 整合多个数据源有助于缓解与噪声相关的偏差，而使用自定义咳嗽筛查工具则提升了数据质量，从而促进了更可靠的模型结果。